Остаться, или уйти?

Мне 23 года, моему гражданскому мужу 30 лет, у нас есть общий ребенок, живем 3 года вместе. у него за спиной 2 брака и один ребенок от первого брака. Все было хорошо, до того, как я вышла в декрет и родила ребенка. Нехватка денег (хотя живем с в своей квартире, которая даже не в ипотеке), пропали общие интересы, т.к. он стал заниматься профессионально спортом, постоянно пропадает на своих тренировках и даче, везде лишь бы не дома со мной и ребенком. постоянно в наших ссорах упрекает меня в том, что он не пьет и не курит, не гуляет по "бабам", что мне еще нужно от него?!? сама я по его словам транжира, неряха и лентяйка, хотя это совсем не так. в каждой ссоре он постоянно приписывает мне что то новое, то я его ревную в соц. сетях, то я его не так обозвала, то я не так сижу и диктую ему как жить. в последнее время меня очень часто посещают мысли о том, что бы уйти от него, он особо не держится за меня, даже замуж брать не хочет...говорит что двери открыты...но как только я перееду к маме, через две недели он говорит мне о том что бы я возвращалась домой, что все будет хорошо. но в последнее время он говорит что меняться ради меня не хочет, подстраиваться под истеричную малолетку не собирается! от него я не вижу ни денег на ребенка(но уже подала на алименты), ни денег на еду, он сам ходит в магазин и покупает что нужно ему...ни нежности в мою сторону ни ласки ни похвалит...в общем я чувствую что я его раздражаю и скорее всего он меня разлюбил, раз он проводит большее количество своего времени не с нами! могу сказать про себя, что очень податливая девушка, готова ради него меняться, и принимать какой он есть с его проблемами, всегда чистота и порядок в квартире, и на кухню не избегаю...сейчас хочу уйти потому что решила что хочу совсем другого мужчину рядом с собой и совсем другого отношения, но боюсь что делаю не правильный выбор!