Нет единства в семье, отсутствие помощи мужа

Доброго дня, волнуют взаимоотношения с мужем, в браке 2 года, знакомы 5 лет, есть дочь 1,3 года, сын от моего первого брака 6 лет. Живем с моей мамой, на данный момент, вопрос с покупкой собственного жилья затягивается. Проблема в том, когда мы остаемся дома "семьей", но это бывает очень редко, у нас складываются более гармоничные отношения, а когда все вместе , т.е. с моей мамой, он старается отстранится от домашних забот, надеясь на маму, на ее помощь с детьми. Довольно часто уезжает к своим родителям в другой город на пару-тройку дней с периодичностью 2 раза в месяц. Меня и детей при этом не берет с собой, находя каждый раз какие-то причины. Именно мое мнение на этот счет, что он просто пытается отдохнуть у родителей от быта и от детей. Находит время встретиться с друзьями, выспаться, уделить время себе. У меня же и моей мамы 24/7 - один и тот же график: дом-работа-дети/внуки-магазины-прогулки с детьми и т.д. Время себе уделяю крайне мало , по остаточному принципу. Уже вышла из декрета, работаю. С подругами почти не вижусь, общаясь только на бегу, по телефону. Муж работает вахтой неделя через неделя, и что странно, именно в свою нерабочую неделю, он уделяет внимание детям часов 5, в общей сложности. Именно на этой почве у нас возникают конфликты наиболее часто. Подливает масло в огонь, конечно же ,мама вопросами по типу: "А где вообще он? А почему всегда я с детьми, а не его мама или он?" (моя мама во внуках души не чает и этот вопрос бывает от усталости и обиды, на самом деле. Уточню еще, что его родители видели свою внучку раза 3-4 с момента рождения)и т.д. и т.п. Несмотря на то,что я всегда согласна с ней в душе, я стараюсь найти оправдания мужу. Снять напряжение. Но достаточно часто это все-таки выливается чуть ли не в истерики между мной и мамой с итогом: "все! мы уйдем жить на съемную квартиру", но в результате все остается на своих местах. И так по кругу, как накипит. Я постоянно нахожусь в состоянии стресса, на фоне это появились проблемы со здоровьем по части неврологии. Я это связываю. Его родители по началу соглашались со мной, теперь я начинаю замечать, что они встают на его сторону, думаю, видя ,что конфликты учащаются, пытаются его оправдать, но помощи своей тоже не предлагают. Муж , когда едет к родителям говорит, что едет домой. Я не чувствую, что мы семья, такое ощущение, что я с детьми отдельно, он отдельно. Зачастую он планирует свои дела самостоятельно, ставя меня уже перед фактом. Мой главный вопрос состоит в том: как наладить взаимоотношения с мужем, живя вместе с мамой. Стоит ли резко реагировать на его поездки к родителям без нас?