Как мне построить новые отношения с ним?

Добрый день!у меня 2 детей (15 и 13 лет) от первого брака и еще один ребенок 10лет в опеке (родственник)и еще родилась дочь от мужчины 37 лет у него это первый ребенок в браке не состоял)он знал мою ситуацию до зачатия ребенка ,что на тот момент я уехала в другой город ради детей и поэтому мы даже расставались ,но в итоге родилась дочурка и 3 года он ездил каждые выходные к нам и помогал,мы с дочкой тоже каждый месяц ездили к нему и жили по неделе(так как возможности пока съехаться нет )все это время были свои сложности ,но в целом преодолевали ,единственное,что однажды он спросил если я встречу женщину всей своей жизни,что я буду делать?я сказала в грубой форме,что лишу его мужского достоинства и разговор на этом завершился.потом он поменял съемную квартиру на большую по площади ,чтобы мы все могли приезжать ,но дал понять что переезд его добил и после нашего последнего приезда и последних неприятных событий со старшими детьми)он сказал что будет искать женщину всей своей жизни и что до 40 лет ему надо успеть родить еще 2детей ,так как у меня есть семья ,а у него нет и он мне ничего не обещал(хотя обещал ,но многие слова оставались словами.причин расставания он выдал много и что все это время наступал себе на горло и мучился.потом был месяц меня блокировки в телефоне и встреча у нотариуса для заключения алиментного соглашения и фраза ,что мы подписали этим свой развод.после этого оскорбления в смс при попытке наладить нормальные отношения ради дочки.все его теперешние фразы несут посыл его матери,которая также говорила мне подобное в разговорах ,упоминая бывшую свекровь и я уже сейчас стала понимать что она не довольна нашими отношениями,потому как сынок все равно один (к слову сказать год назад развелся официально его брат ,поживший менее 2лет с женой)и мама тоже сыграла свою роль.Вопрос ,это влияние мамы или же мой мужчина не вынес испытаний наших отношений ?И как мне построить новые отношения с ним?до этого он никогда не позволял грубостей в мою сторону ,но с другими мог .