Зависла между детьми и мужчиной

Здравстуйте! Я в разводе пять лет, живу с взрослой дочерью 25 лет, сыном 17 лет и бывшим супругом (он безработный, ничего не делает и живет за мой счет). У меня есть отношения с надёжным мужчиной. Работая вахтами за границей, он часто надолго уезжает, и встречаться с ним я могу лишь в течении 2 - 3 месяцев между его поездками. Он вдовец, живет вдвоём с сыном 27 лет. Повода усомниться в хорошем отношении ко мне мой мужчина не даёт, всегда ждёт и зовёт к себе. Беда в другом - меня мучит необходимость выбирать между ним и моими детьми. Да, дети взрослые. Они всё понимают, отпускают, не жалуются. Но мне кажется, сыну всё равно обидно, что бросаю его. Я чувствую себя виноватой, когда на несколько дней ухожу жить в чужой дом. Ведь дети для меня - моя реальность, мой дом, моя ответственность, с ними мне хорошо. Эта неопределённость сильно мучит меня. Никак не могу устаканить у себя в голове эту двойственную ситуацию. Не знаю, как нужно, как правильно.