Может я не имею права так поступать с его братом?

Здравствуйте. С гражданским мужем живу 2 года,в моей квартире,нашей с дочкой квартире.Дочь(ей 20 лет) спит в спальне,я(мне 40 лет) в зале с мужем(ему 30 лет). Муж детдомовец. У мужа есть брат(22 года)не женат,работает вахтовым методом 20 дней на 20.Своего жилья у них нет.Естественно приезжая в город брат едет к брату то есть к нам.Квартиру снимать брат не очень хочет.На снятие квартиры всегда настаиваю я.У нас всегда по приезду брата происходит конфликт с мужем о том что брат уже взрослый и может сам снимать себе квартиру. Но в большинстве случаев он живёт у нас,спит с нами в зале. Мне это не очень нравится.Иногда я сплю у дочки в спальне. Было такое что брат с мужем спал на нашей кровати,так как была зима,на пол ведь не положешь,а я в спальне 2 недели спала.Брату как то без разницы какие отношения у меня с мужем. А я стала брата ненавидеть.Брат проживает у нас.С мужем отношения накалённые,мне его жалко,из за моих скандалов. Муж умом понимает что брат должен жить самостоятельно,говорит что с ним на эту тему разговаривал. А брат вроде понимает,но говорит квартиры заняты!И соответственно живёт с нами.Живёт до того момента пока я сама не найду ему квартиру и не выселю! И знаете,я себя после таких неприятных действий чувствую СВОЛОЧЬЮ,ТВАРЬЮ,кем угодно.Очень долго после такова выживания брата из своей квартиры переживаю,морально болею! Короче живём как квартиранты с мужем 20 на 20.А брату кажется всё равно что я хожу не довольная.Знаете когда брату удаётся жить в съёмной квартире он себе даже кушать не готовит,говорит не хочет,хотя умеет. Я так думаю ему очень удобно приезжать на всё готовое к нам.И что же мне делать,так и будем жить втроём? Как быть,как правильно поступать в таких случаях?Я изначально знала что у мужа есть брат,НО У НАС НЕ БЫЛО ДОГОВОРА что брат будет с нами жить!Муж предлагает расписаться,а я боюсь,вдруг муж став моим мужем по закону,когда брат в очередной раз приедет скажет-Я СКАЗАЛ,БРАТ С НАМИ ПОЖИВЁТ! и всё.Я была за мужем.До меня муж тоже жил с женщиной 8 лет.Может я не имею права так поступать с его братом? помогите разобраться. Спасибо.