Как быть в этой ситуации?

Я официально в браке. Муж второй год отбывает срок в местах лишения свободы, всего срок заключения 13 лет. У нас двое детей. В настоящее время я встретила человека с которым хочу быть вместе и он, с его слов, тоже. Общаться с мужем он мне не запрещает, однако против наших встречь (длительных свиданий). За то время, что мы вместе он мне помощи у нас были конфликты на фоне его пьянок (злоупотреблял спиртным, не работал). Сейчас перестал выпивать, устрроился на работу. Я собралась ехать на свидание к мужу (у меня огромное чувство вины перед мужем, и за то что он там оказался, и за то, что я теперь с другим мужчиной), но мой теперешний мужчина против. Я не хочу расстраивать мужа и не хочу расставаться с молодым человеком. Как поступить? Поехать к мужу и потерять человека, который мне не безразличен или сделать больно мужу,сказав, что я не могу приехать?