Взаимоотношения с родственниками мужа

Здравствуйте, состоим в браке с мужем 3 года, живем вместе 2 года (сразу после свадьбы он ушел в армию). После того как муж пришёл с армии, я закончив обучение переехала к нему домой. Мы живем вместе с его отцом и младшим братом. Пососедству живет его бабушка с дядей, которые являются частыми гостями у нас дома. В прошлом году родила дочь. Очень хочу уйти жить вместе с мужем и дочерью отдельно, на что получаю отказ, поскольку муж не хочет оставлять отца и брата одного. ( мать мужа умерла 3 года назад, отец уже нашел себе другую женщину, она часто приезжает к нам но вместе они не живут.) я уже не могу все это выносить, считаю это дурдомом. Все его родственники приходят когда вздумается. Его 2 бабушка пытается управлять и моим мужем и его отцом, настраивая их друг против друга и против меня в том числе. Однажды муж был согласен с моим мнением о переезде. Но его бабушка вечно его уверяет что это низа что делать нельзя. Я очень сильно люблю его, у нас с ним прекрасные отношения, не считая эту ситуацию. Как поступить правильно, чтобы не разрушать его с его родными?

Они очень сильно манипулируют им, и каждый раз как он пытается сделать что-то против их воли, они устраивают ему бойкот. Вроде взрослые люди, а ведут себя как дети