Мой муж считает, что у меня проблемы с психикой

Мне 26 лет моему мужу 28. Мы уже 7 лет женат, есть дочь 5 лет. Больше 2-х лет назад я ушла от мужа по причине того, что на новой работе он начал очень тесные отношения со своей сотрудницей (не могу утверждать об физической измене). Но ей он уделял все свое внимание, а я и дочь просто проживали с ним. Ушла я спокойно без истерик и обвинений. На протяжении этих 2-х лет не запрещала общаться с дочкой. Сейчас решили попробовать возобновить отношения. Работает он сейчас в другом городе и видимся редко. После того, как мы начали строить семью мне начали поступать угрозы на счет того, чтобы я подала на развод, потом меня просто избили возле моего дома, на днях встретила эту девушку возле своего дома и выслушала кучу гадостей в свою сторону. Рассказав все мужу услышала, что у меня проблемы с психикой и что эта милая девушка не способна на такое поведение. Защищает ее во всем, а я теперь боюсь просто выйти на улицу с дочкой. Не знаю, как мне себя вести. Разрушать семью тоже не хочу, но так жить, пока эта особа постоянно в курсе нашей жизни, я не могу. Помогите советом. За ранее, спасибо.