Не могу бросить парня. Как быть?

Здравствуйте! Недавно произошел случай,изменивший мой взгляд на привычные мне вещи.Я чувствую, что влюбилась в человека связь с которым для меня запретна - он женат.Но не это событие стало роковым. У меня есть молодой человек ( мы вместе около 5 лет, но наши отношения всегда на расстоянии). Накануне этого лета мы решили сойтись и жить вместе, однако череда событий снова нас развела - у него вечно дела, какие-то препятствия. Отношения превратились в пепел, но как только я начинаю отдаляться - он снова пытается войти в мою жизнь. Расстаться с ним я пыталась много раз - однажды он чуть ли не прощался со мною собираясь в мир иной( служил в горячей точке) и поэтому я побоялась тогда остаться виноватой, не стала разрывать с ним якобы отношения.Свежие чувства, отвечать на которые я конечно не собираюсь, подтолкнули меня на окончательный разрыв с моим молодым человеком. Я боюсь ему сделать больно, не смотря на все его недостатки он не плохой, просто мне с ним плохо...Боюсь услышать в свой адрес много плохого, что из за меня он хочет переехать жить в другую точку страны ( хотя за 5 лет так и не сделал ни одного шага), а я так себя веду. не уверена что он не будет снова появляться в моей жизни.Помогите , подскажите как сделать безболезненным для нас обоих этот шаг. Заранее спасибо.