Он не хочет общаться с моим ребенком

Здравствуйте. Хотела бы поделиться с вами своей жизненной ситуацией и очень расчитываю на ваш совет.Вышла замуж я как говорят "позалету" ,любви к мужу с моей стороны ни когда не было,поэтому через два года я от него ушла и уже два года живу с мамой.8 месяцев назад начала встречаться с молодым человеком,к ребенку он сразу отнесся скептически,я его очень люблю.Встречаемся мы только в те дни когда я ребенка отдаю отцу,потому что мб не согласен даже на часовую прогулку втроем,он категорически не хочет видеть ребенка,объясняя тем что ему это не нужно .Из-за этого ребенок очень много времени проводит не со мной,меня это тяготит,мч мне очень любит ,но общаться с ребенком он не желает,поскажите как мне быть,отказаться от ребенка я не могу,но и молодого человека очень люблю,а разрываться между ними уже просто нет сил.Мне и мч 24 года,ребенку 4 года