Мой парень не может принять ребенка от первого брака

Здравствуйте! Мне 28 лет, у меня есть сын ему 4 года, моему молодому человеку 30 лет. Мы встречаемся 3, 5 года, а до этого дружили 5 лет. Бывшего мужа он моего знал и работал с ним и теперь, когда мы вместе, а мой муж исчез из моей жизни. Мой нынешний парень видит в моем сыне повадки и черты ббывшего и осуждает их. Меня это очень злит . Мой парень очень много работает и к сожалению нам так сказать, негде жить вместе. Он живет с мамой в общежитии, я тоже с мамой и с ее мужем в однокомнатной она с мужем на кухне. Мы пробовали жить и у него и у нее, но тщетно. У него нас хватило на 2 недели , а у меня до сих пор живем периодически. Расставались много раз по-причине "ребенок". Я очень люблю своего сына, он любит моего парня и другого отца не знает. Когда его нет со мной (по причине расставаничя)я говорю, что папа работает в командировке и т.д... Все разговоры с любимым сводятся к ребенку и что он не любит детей о чем вначале отношений не говорилось, его раздражает нытье и т.д.. Всё более менее налаживается когда мы в большом доме на даче. Помогите, что мне делать рвать отношения невыносимо тяжело, ведь я люблю его и сына! Мы уже сроднились и почему у него до сих пор не появилось этого чувства ответственности перед ребенком! Он всем завидует в частности своим друзьям, что у них всё получилось дети и т.д... Когда он приходит домой ко мне с работы мой сын очень радуется и хочет с ним играть, но тот его игнорирует хочет отдохнуть, но у менч эьо сложно сделать. Деньги он на него не жалеет. Когда они вместе, что бывает крайне редко, сын его слушается. Когда прихожу я сын капризничает и не слушается его. Он хочет ребёнка, но понимает, что мы не потянем у нас кредит висит, который он выплачивает. Бывает в компании, когда все на веселе он играет с сыном как будто он ничего не говорил , что детей не любит и т.д. Где правда, где ложь помогите мне разобраться пожалуйста!!! Заранее спасибо.