Как порвать отношения с женатым?

Знаю человека 20 лет,вместе работаем.Влюблен вменя более10 лет.Через два года после смерти моего мужа у нас стали блзкие отношения. Он мне тоже очень нравился,добрый.спокойный .внимательныйюГоворилЧто никогда никого так не любил/Мой муж был очень десспотичный,я его бояласьСначало наших отношений были только положительные эмоции.больше10 лет он вообще не пил,а последние года три стал выпивать.Когда выпьет эмоции через край,звонил мне выпивший и не заметил,что жена подошла и все слышала. Так все открылось.Первый раз он пришел ко мне жить на10 дней,потом поехал поговорить ссыном и не вернулсяб остался дома.Ничего не объяснив. Второй раз приехал в день смерти моей мамы,сказав,что теперь навсегда.Через месяц опять уехал без объяснений. Три месяца я сним не общалась.не отвечала наего постоянные звонки,хотя сама очень переживала его предательство.Сейчас опять возобновили отношения приезжает или звонит в основном выпивший,а когдда уезжает домой боиться звонить или звонит с рыбалки .Жена все знает. Раньше говорил если она узнает ,то он уйдет,а теперь якобы боится в таком взрасте все бросить ему 55 лет. Мне без него плохо и с ним одна нерватрепка.Знаю,что он не решиться уйти из семьи.Как поступить,что б не так было больно? Мне 54 года.35 лет была замужем.Две взрослые дочери живут отдельно.Я живу в 4х комнатной квартире одна. У меня дача,машина,мне от него ничего не надо,что б он что то делил, пусть все оставит жене исыну.Он 30 лет в браке сыну 26 лет .женат.двое детей.свое жилье.Мой живет в своем доме,имеет две машины .одна грузовая.Конечно ему сложно из своего дома уйти оставив все в квартиру.