Отношение мужа к своим родственникам

Доброго времени суток. У мужа много родственников и каждый раз, когда я просто хочу вместе съездить на выходные отдохнуть, он хочет брать кого-либо из них. Из-за этого к выходным постоянные скандалы, оскорбления и рукоприкладства.

Родственники мужа ко мне относятся хорошо, ничего плохого мне делали, но я не хочу, чтобы они ездили с нами. У нас своя семья, у них своя семья, у каждого есть своя машина, пусть едут и отдыхают. Отец его в жизни вообще не помогал ему, сам себе на уме, привык "разгребать жар чужими руками" (со слов свекрови, которая давно с ним развелась), даже копейки не дал на покупку машины, ремонт её же, а мы должны его катать по рыбалкам?

Постоянно он с ними на телефоне, ежедневно, часто ездит по первому зову им помогать, то отвезти, то привезти кого-то, на праздники хочет, чтобы мы приезжали к ним.. Разговаривала неоднократно с мужем, что мне это неприятно, что я его жена и он тоже должен ко мне прислушиваться. На что был дан ответ-я тебя итак дома постоянно вижу.. Но когда?

Мы оба работаем, пока придём с работы, приготовим, поедим, время вечер-ложимся спать, притом я сплю отдельно от него, на диване в зале, а он в спальне, т. к. он хочет смотреть передачи/фильмы до ночи, а я жаворонок, ложусь рано и встаю рано.. Такое чувство, что я есть, что меня нет в его жизни, ничего не меняется и он считает свое поведение правильным, что это его родственники, они ничего плохого мне не сделали и все так и будет продолжаться..

Неделю назад собрал часть вещей, взял все деньги с продажи старой машины и уехал к маме жить. Как мне быть? Меня обижает подобное отношение ко мне..