У моего мужчины ребёнок от первого брака. Как проше относиться к его бывшей семье?

Мне 23 года, я полгода живу с мужчиной (ему 26), у нас замечательные отношения- полное взаимопонимание, мы ни разу не ссорились за это время.Мы безумно любим друг друга, уважаем,но...он был женат(женился рано, в 22 года, по "залёту",его бывшей жене было 18),уже год как они развелись по её вине. Бывшая жена запрещает видеться с ребёнком(хочет, чтобы дочь считала папой нового сожителя). Мой парень очень переживает по этому поводу. А я пытаюсь его всячески поддержать, но в глубине души меня очень раздражает тот факт, что у него есть дочь, что наш с ним общий ребёнок будет у него не первый,как бы на втором месте,что он уже испытал отцовские чувства, что придётся платить алименты, всречаться с бывшей женой и дочерью. Я понимаю, что ребёнок ни при чём, но меня это всё равно очень напрягает.Например, когда я хочу провести выходные с ним, а он хочет поехать к ребёнку.Конечно, я ему ничего не говорю по этому поводу.Я очень хочу быть с ним, он- со мной. Недавно он сказал, что очень хочет общего ребёнка.Но я боюсь.Подскажите, как проше относиться к его бывшей семье?