Не могу смириться с бывшей семьей мужчины, стоит ли остаться в этих отношениях, или закончить их?

Добрый день, мне 30 лет, у меня нет своих детей, но зато есть мужчина у которого есть ребенок, очень хороший милый мальчик 4 лет , от прошлой жены.

Наши отношения начались, когда он ещё был в браке, на грани развода. Хотел уйти из семьи, из-за проблем (с его слов не было к нему должного уважения, жили они в доме с родителями супруги, они жили в достатке, а он не мог зарабатывать по потребностям своей семьи, его постоянно гнобила тёща что он мало зарабатывает и вообще он какой-то не такой), но никак не решался и тут встретил меня, это дало ему толчок для ухода. Он развелся, стал жить в моей квартире, при этом меня никак материально не обеспечивая. Так продолжалось около года. В течении этого времени, дополнительно он общался и гулял с другими девушками, о которых я случайно узнавала, скрывал меня от всех своих друзей и знакомых, от жены бывшей. Я это все видела и понимала и очень мучалась и злилась. Но я его очень полюбила и решила попробовать забыть такое к себе отношение. Прошло ещё 2 года, я никак не могу отпустить эти ситуации, когда он так со мной обращался неуважительно.

Сейчас он стал меня обеспечивать в какой-то степени, хорошо ко мне относится, не скрывает от близких. Но я не могу теперь к нему нормально относиться. Я ему не доверяю и боюсь что опять все это плохое отношение вернется. У нас нет общения по душам, мы не слышим и не понимаем друг друга и в большей степени это по моей вине, потому что я постоянно раздражаюсь и хочу его зацепить.

Так же имеется проблема в его ребенке. Меня он очень сильно бесит. Точнее не он сам, а отношение моего мужчины к нему, с какой любовью нежностью и теплотой он это делает. Когда ко мне такой нежности не было никогда…. А так же меня раздражает тот факт, что он всегда защищает свою бывшую жену, что она хорошая и слова про неё плохого сказать нельзя. Зато меня может поливать всеми разными словами которые только приходят в голову.

Скажите, какой выход их ситуации самый разумный в данном случае для психологического благополучия? Стоит ли остаться в этих отношениях или закончить их будет правильнее?