Испытываю растерянность и не знаю, как поступить

Здравствуйте, прекрасно понимаю, что никто не даст готовое решение, но нарушилось душевное равновесие.

проблема: 6 месяцев в отношениях с мужчиной, который старше меня на 13 лет и 23 года жил в семье. потом из за пьянок и скандалов его выгнала жена. спустя 8 месяцев я с ним познакомилась. сразу влюбилась понимая что до этого и не любила. человек довольно сложный, с характером. не позволяет влиться в его жизнь. злится когда замечает какой либо контроль над его жизнью. хотя я к этому не стремлюсь.

через 2 месяца знакомства изъявил желание познакомиться с моими детьми (11 и 6 лет) сделал все, чтобы быть авторитетом в их глазах. теперь при открывании двери они бегут со словами папа пришел.

несмотря на их привязанность я не чувствую уверенности в наличии совместного будущего. понятно что он не может порвать отношения со своей семьей и детьми, он общается с ними и это нормально.

но вчера договаривались что он останется у меня, звонок- и он уходит без объяснений.

несколько раз были ситуации когда он говорил что хочет вернуться в семью и между нами все кончено. максимальный срок разлуки был 4 дня. возвращался со словами прости не могу без тебя.

если честно мое эмоциональное состояние на грани срыва. нет более сил терпеть.

подскажите что можно изменить в моем поведении что ли или отношении к проблеме или вообще все кардинально