Как порвать отношения с любовником?

Здравствуйте. Мне 29 лет и я замужем 6 лет, есть ребенок 3 года, муж очень хороший человек, любим друг друга, у нас очень хорошие отношения. Но мне угораздило завести на работе роман с коллегой, тоже женат с двумя детьми. Поначалу это был просто флирт и я не думала, что впаду в такую эмоциональную зависимость от него. Внешне Он меня не сильно привлекает, но в нем есть что-то, что меня сильно притягивает к нему. У меня к нему было огромное влечение, привязанность, потребность, начала думать, что уже влюбилась. Но вот уже 2 недели Он мне не звонит, не пишет, не заходит ко мне в кабинет. Нашим отношением чуть больше полугода. Дело в том, что с самого начала я противилась этим отношениям, говорила, что так нельзя, это грех, меня мучила совесть, но я с каждым разом все больше привязывалась к нему, что уже откинула свои переживания и стала просто жить. У меня кроме мужа никого никогда не было, то есть Он второй мужчина в моей жизни. Он говорил, что хочет, чтобы наши отношения длились вечно, что все время обо мне думает, что даже хотел бы, чтобы я родила ему сына, и что без ума от секса со мной. Услышав такие слова, я думала, что он искренен, хотя понимала, что эти отношения ни к чему не приведут. С самого начала мы как бы договорились, что эти отношения будут без обязательств, без ущерба нашим семьям. Но все же мне больно и обидно, что он вот так вот просто перестал со мной общаться. Он все время занят то работой, то семьей, по поводу семьи я его никогда не упрекала, единственное просила его в течение рабочего дня встречаться, тем более что есть возможность. В последний раз я целую неделю просила о встрече, причем без всякого интима, а просто увидеться, пообщаться, а ему все некогда. Мне было больно, несколько дней ходила вся поникшая, страдала, но потом решила оставить все как есть и свести эти отношения на нет. Вот уже больше двух недель мы вообще даже не разговаривали. Он так и не поинтересовался, почему я перестала с ним общаться. Вопреки всем моим стараниям, я все же продолжаю думать о нем, сердце болит, обидно.

Как мне поступить, поговорить с ним и выяснить отношения? Но боюсь, я не сдержусь, прощу его и все обратно начнется. Или же так и продолжать делать вид будто ничего не случилось и не общаться вообще? Мы с ним даже и не ругались. Все так странно как то получилось. Но чувствую, что разобраться в этой ситуации надо, не могу терпеть эту неопределенность, жду пока он первый заговорит, но он молчит. Что мне делать? Хочу использовать эту ситуацию как повод для разрыва отношений. Но боюсь силы воли не хватит. Помогите советом.