Как он относится к бывшим?

Мы с мужем живем три года вместе, у него есть сын от предыдущего брака, но уже год его бывшая жена пришла работать в ту организацию, где работает мой муж. Он расстался с ней из за меня. Из за этого у нас постоянные ссоры. Я считаю что это недопустимо, большую часть времени мы проводим на работе, и получается большую часть дня он проводит в ее обществе. Меня это ужасно выводит из себя, Уже год как я на него постоянно злюсь. Работу он говорит может поискать но к лету. Причин тянуть до лета нет. Она сейчас в разводе, свободная, меня эта ситуация напрягает, так как она понимает как женщина что это все неприятно. Он говорит что не имеет на нее видов, и что в этом нечего нет и меня одну эта ситуация не устраивает. Посоветуйте мне пожалуйста, может я не права или как лучше поступать в таких ситуациях, я сейчас настаиваю на смене работы. Спасибо Вам заранее!