Ссоры с мужем, из-за брата

Здравствуйте!

Помогите советом!Живем вместе 2 года в гражданском браке.В последнее время часто начали ругаться из-за брата.Брату 23 года.В 1 год нашей совместной жизни я брата совсем почти не видела приезжал очень редко.А в последнее время прямо зачастил в каждые выходные.Сначала относилась к этому лояльно а сейчас просто сил нет раздражает меня по всяким бытовым причинам.По началу понять не могла какой то он странный ведет себя как то не обычно.Замкнут,не общительный,движения странные может долго смотреть в одну точку.С мужем поговорила на эту тему он говорит что с ним все нормально.Я ещё больше пыталась понять что не так не могу с ним общатся как то не получается.Ведь человек познается через общение. Читала в интернете много информации и сопоставляя факты поняла что он аутист.Я была в шоке очень многое из симптомов совпало.Я не могу найти с ним общего языка так как у него совсем не каких интересов нет он есть но в тоже время его нет.Сначала терпела потом я чувствую он меня раздражает даже иногда сложно самой сдержатся.Я стала об этом говори мужу что бы он не так часто приезжал да и мне не часто его видеть бы приходилось.Но муж говорит что это мой брат и я его не брошу и что он будет приезжать к нам.Что мне делать?Муж даже не смотря на точно меня долго добивался сейчас готов меня бросить ради брата.