Должна ли я терпеть, если нет понимания?

Я живу в гражданском браке. За плечами развод. Причиной развода стал мужчина, с которым живу сейчас. До того как стала с ним жить, отношения были отличными. Хотя знала, что характер у него не сахар. У него жена инвалид. Передвигается с трудом. Живет с дочерью, которой 20 лет. Он иоже подал на развод. Но мы договорились, что жену он не оставит. Живем рядом, он каждый день там бывает, помогает им. Финансово они полностью на его обеспечении. Сначала все было хорошо. Я знала, на что шла. Его сын (25 леь) ходил в гости. Дочь наотрез отказалась. Потом жена отказала в разводе, выдвинув ряд условий финансового характера. Он стал их выполнять.Со временем тема развода стала для меня закрытой. Он стал нервный, постоянно срываться на меня, я обижалась, что он не разводится, но потом и с этим смирилась. Потом он изредка стал проводить там вечера за семейным столом. Сын тоже перестал ходить к нам. Мне постоянно вбивается в голову, что что это его дети и он тоже хочет проводить с ними время, а она инвалид и поэтому тоже сидит с ними. Я ужасно ревную. При этом мне нельзя ходить к себе домой и присматривать за ним. Мои дети живут с нами. Муж бывший постоянно в командировках. Я все делаю не так с его слов. Плохая хозяйка( хоия дома всегда чисто и вкусная еда). Я несколько раз уходила. Он ворачивал. Но иеперь сил нет. Хочу уйти. Но боюсь, как дальше жить. Он тиран и не даст мне забыть его. Почему он не понимает что и сне тяжело принимать эту ситуацию? Ведь я на многое закрываю глаза. Он там бывает несколько раз еа день. Любит чтоб все было под его контролем. Дочь его обвинила что он бррсил мать на нее. Хотя он все делает для них и помогает по дому. Я понимаю, что чувство вины его гложет, но и нести все это одна не могу. Еще и получая за все ... Что не так, он сразу психует, сначала устраивал такие скандалы, что зотелось бежать на край света. Потом начал молчать неделями. Я живу у него в новом доме. Чувствую себя чужой. Что мне делать ? Уже иссякли все душевные резервы моего понимания...