Расстаться, или оставить все как есть?

Здравствуйте, 2,5 года встречаюсь с женатым мужчиной. он старше меня на 11 лет. По началу все было не серьезно так как я знала что он не свободен, но со временем, как и следовало ожидать, я его полюбила... в браке он состоит уже 11 лет и никогда не изменял жене. не такой он человек. Понимая что не хочу разбивать семью, я все старалась обращать внимание на других парней и иногда даже ходила с ними на свидание, но это было все не то. Затем обстоятельства нас разлучили, он переехал в другой город. Общение все еще поддерживали. Было понятно что на расстоянии отношения долго длиться не могут. я задала ему конкретный вопрос: с кем он будет? Он сказал что с семьей. в итоге я с ним рассталась. через неделю у меня завязались отношения с общим нашим знакомым, к которому мой бывший испытывал всегда неприязнь,и мы встречались месяц, но отношения не сложились, мы расстаоись. Информация о том что я была с ним дошла до моего бывшего. Прошло время мы снова начали общаться и встречаемся иногда. но он не может простить мне "измену" с тем общим знакомым. его бесит что зная его отношение к этому человеку я все-равно с ним была. теперь мы в западне. я его люблю и он меня любит но не может понять ка ктак быстро я переключилась на другого? это мы обсуждаем через день и все как будто было только вчера. хотя прошло уже полгода. не знаю что делать... хочу быть с ним но не могу терпеть эти рзговоры постоянно. хочу добавить что любовь у него ко мне действительно очень сильная. Подскажите пожалуйста что делать?