Как безболезненно закончить общение?

Случилась запутанная для меня ситуация. В период кризиса отношений с мужем стала общаться с женатым мужчиной. Занимались общим проектом, он меня пригласил. Возникла взаимная человеческая симпатия, бережное и теплое общение, дружеское. Близких взаимоотношений не было. К более тесному общению я была не готова. В какой-то момент он поделился со мной своей личной жизнью, тк полюбил замужнюю женщину, ушел из семьи. Добивался ее, как мог теперь они вместе.

Спустя время сказал, что его жена решила, что он ушел ко мне, все его поведение - переписку, отсутствие дома, скандалы и ссоры связывала со мной. Мне было крайне неприятно, он видимо не считал, что это как-то меня касается и никак не объясняет.

Я сказала ему в резкой форме, что он мной "прикрылся", что это некрасиво. Чувствую себя виноватой перед его женой, хоть вины никакой нет.

Пыталась прекратить общение, он периодически возобновляет его. Я привыкла к нему - это трудно было сделать резко, потому что отношения теплые и доверительные, и в то же время они выбивают меня из себя на несколько дней. Я не понимаю, что ему от меня нужно, сам он говорит, что я ему Друг. Но если он счастлив и добился своей женщины, уведя ее из семьи, - пусть там дружит или общается. Или я неправа? Подскажите, что им движет, как безболезненно закончить общение, не обижая?