Как справится с непониманием?

Здравствуйте!Меня зовут Марина мне 33года работаю менеджером в торговой компании.Год назад я встретила своего старого знакомого с которым не виделись три года.Тогда три года назад он признался мне в симпатии...НО так как я была ни одна да и у него была семья и дочка 7 лет я не приняла это всерьез.Встретившись мы начали общаться и конечно вспоминать прошлое.Оказалось что он попытался уйти с семьи и потом мне предложить быть вместе.Но жена пыталась повешатся по его словам и он остался в семье и сейчас они ждут второго ребенка.И я тогда подумала как хорошо что я ему отказала у них все хорошо.Но не тут то было!!!Стали общаться по работе у него родился сын.В один момент я стала понимать что меня тянет к нему как мужщине и решила отдалится.А он признался мне в любви.Решил уйти с семьи чтоб быть со мной.Вообщем все закрутилось и год мы вместе.НО у него стого суббота и воскресенье общение с детьми с которыми я не могу видется так как дочь категорически против общения со мной.Я понимаю НО мне очень трдно ждать его от туда.Помогите пожалуйста как смирится с этим или всетаки расстатся с любимым человеком?У меня дочка 14лет от нас муж ушел когда Насти было 5 лет и сейчас они хорошо общаются и с оцом и его женой.Я не понимю почему мы не можем проводить все вместе выходные!