Нет взаимопонимания с мужем

Мы с мужем вместе 7,5 лет в официальном браке 4 года. Мы с мужем очень часто ругаемся из-за того, что я (как он считает) хожу часто к маме. Мама от нас живет не далеко, 7 лет назад не стала папы, и мы с сестрой стараемся её всячески поддерживать. С понедельника по пятницу я могу сходить к маме раза 2-3 вечером и в выходные, т.к. у неё большой дом и огород необходима помощь и так получается, что могу уйти в субботу в 12.00 и прийти часиков 19.00, а бывает и 21.00. Мой муж мне говорит, если ты вышла замуж, то должна заботиться о свое семье, т.е. это он и я (у нас нет детей), так же часто говорит, что я маме нужна, только если что-то помочь надо и т.д. Я ему объясняю, что если мы создаем свою семью, это не значит, что мама это не моя семья. В тоже время, если есть какая-то работа мужская, он идет и помогает моей маме. Когда мы начинаем с ним разговаривать на эту тему, он говорит, что согласен, чтоб я ходила к маме только 2 раза в неделю, но я так не могу. Бывает, мама позвонит у неё какие-нибудь проблемы, и я сразу срываюсь и иду к ней, а муж очень обижается. Его родители живут в другом городе, и конечно он их видит раз в год и не может меня понять, почему я так часто хожу к маме, как бы я ему не объясняла. Конечно, бывает, что я уйду и не приготовлю или не успею сделать уборку т.к. у мамы нахожусь, но я считаю, что он не ребенок и может приготовить себе еду. Не знаю кто из нас прав и как прийти к пониманию?