Служебный роман с неадекватным человеком

Здравствуйте! Мой вопрос про сложные и непонятные отношения с коллегой по работе.

Меня зовут Аня, я замужем во второй раз, мне 32. Ещё когда я была замужем за первым супругом за мной настойчиво ухаживал мужчина с работы(пусть будет Виктор). Через полгода я сдалась и мы стали любовниками. Отношения наши сводились к сексу на работе - вне работы мы никогда не общались. Я понимала всю ущербность и бессмысленность этих отношений, а он, вероятно, нет. Хотя знал что я замужем. Естественно, нам приходилось скрывать свою связь. Он постоянно закатывал мне самые настоящие сцены ревности, когда я общалась с другими мужчинами у него на глазах. Одного молодого человека он уволил за то что тот не скрывал симпатию ко мне и постоянно про меня расспрашивал. Однажды вообще подрался с парнем, с которым я пила чай в перерыве. В общем я решила что Виктор псих (простите) и нужно это всё прекращать. Я поговорила с ним и объяснила что отношений у нас нет и быть не может, что это тупик, а я ещё и замужем. После этого моего заявления он начал кричать что не может быть такого, чтобы он для меня ничего не значил и попытался меня изнасиловать. На этом наши отношения прекратились. У него начались проблемы с алкоголем - долгое время он лечился в клинике. Мы не общались несколько лет. За это время я успела развестись, выйти замуж во второй раз и забеременеть. Буквально за неделю до моего ухода в декретный отпуск Виктор подбежал ко мне (я не преувеличиваю) - втолкал меня в свой кабинет и стал говорить что скучает и будет ждать моего возвращения. Видимо даже живот на восьмом месяце его не смутил. С тех пор мы не общались. Я слегка боюсь возвращаться на работу, но уволиться не могу - по контракту я обязана отработать ещё несколько лет, либо вернуть большую сумму денег. Мне непонятно его отношение ко мне, непонятны его мотивы. И, главное, непонятно как нужно себя с ним вести. Я считаю, что если бы он меня любил, то попытался бы вынести отношения за рамки работы. Если ему просто нравилась эта игра в любовь на работе - то зачем заигрываться? Непонятно что творится у него в голове. Как возможно такое, что мы годами не общаемся, а потом, внезапно, он набрасывается на меня? К слову - постоянных отношений с женщинами у него нет. Он не женат и даже не встречался ни с кем больше пары месяцев. Хотя внешне он очень привлекателен, женщины его очень любят и не скрывают этого. Он обеспечен и занимает руководящую должность. Очень странно, что мужчина, на которого женщины буквально вешаются - одинок. Пожалуйста, объясните мне что с ним не так и как нужно себя с ним вести? Никаких сексуальных отношений с ним не планирую. Разумеется не хочу его провоцировать.