Как разрешить ситуацию с бывшей женой любимого человека?

Мне уже за 40 Десять месяцев я знакома с мужчиной 50 лет который мне не проста дорог, я точно знаю что его люблю и он любит меня. Но отношения со своей бывшей женой он не рвет по очень уважительной причине как ему кажется. У него есть брат инвалид до их расставания опекуном была назначена его жена. Год назад он ушел от нее в свою квартиру, где и проживает брат. Естественно так как она опекун, она обязана посещать его. Когда появилась я. Она очень долго манипулировала отношениями с сыном. И старалась всяческий нас рассорить, но не получилось. Он ей предложил отказаться от опекунства, но она нашла причины и уговорила, что так лучше.Он ей поставил условия не лесть в наши отношения, она их приняла, но изменила тактику. Теперь она ходит раз в три дня, но обязательно с ночевкой.Так как квартира не большая и место для сна одно она спит с ним в одной кровати. Я естественно с ним не проживаю у меня свая жил площадь. Меня это расстраивает и раздражает. Я думаю что она хочет его вернуть, он говорит что он не вернется к ней, но и ситуацию менять не хочет. И считает раз ей так удобно, пусть будит так. Переехать ко мне он не может, и я пока не могу к нему переехать. Он говорит что я слишком ревнива и без почвенно. Против их общения я не против, но не такого. Что мне сделать и как вести в этой ситуации.