Муж не общается с моими родителями

Мне 24 года. Полгода назад я развелась в первым мужем (хотя не жили мы уже год). В тот момент я встретилась со своим вторым мужем. После развода, мы стали жить вместе у него (он живет с родителями),(он тоже был женат и от первого брака есть 7-летняя дочь). Все у нас было хорошо. Общались с моими родителями и с его родителями хорошо, он сам постоянно звонил моей маме, интересовался как у нее дела. Потом спустя несколько месяцев, он стал реже звонить ей. И начал мне запрещать. Я с ним начинала спорить по этому поводу.Затем он стал запрещать вообще к ней ездить в гости, типа я не поеду и тебе без меня ездить нельзя. С его родителями тоже общаюсь с осторожностью (я к его родителям отношусь очень уважительно, никогда не спорила и не ругалась с ними). Так как если вдруг, что-то не так, то начинается скандал. Мы с ним много разговаривали и по плохому(скандалили) и по хорошему и со слезами его упрашивала поехать к маме. Он потом говорил, что не против чтобы я ездила, но проходит день и начинается снова, как только я начинаю говорить про маму, даже когда она мне звонит, начинает, ругаться, недовольство свое высказывать, типа, что она то и дело тебе названивает. Хотя она звонит мне раза 2 в неделю. Моя мама начала на меня обижаться, что не ездим к ней, я не говорю ей, что мой муж против, говорю, что мне некогда, то работа, то еще что-нибудь. Я по началу думала, что он изменится, что это ревность ко всем. (пока на первых порах) теперь мне кажется что это эгоизм чистой воды. Значит, я должна общаться с его родителями, а он с моими нет. Что мне делать, как быть, подскажите, пожалуйста?