Муж думает, что я ему изменяю, но это не так

Мы с мужем живём уже 12 лет. У нас двое прекрасных разнополых детей. Я очень люблю свою семью, всегда стараюсь для них, дома всегда уютно, чисто, приготовлено кушать, к тому же я работаю в офисе исключительно с женским коллективом.

В интимном плане у нас всё отлично. Муж работает ватой по 15 дней, когда приезжает стараемся быть вместе всей семьёй, но конечно у него есть друзья с которыми он всегда ездит на рыбалку не без выпивки. Потом приезжает и начинается поток негатива и всяких обидных слов, что я ему изменяю с кем-то.

Я всегда на эти слова реагирую очень остро, начинаю повышать голос задавать вопросы кто ему такую чушь говорит, когда я могу это делать, если я всегда с детьми. Мне очень обидно становится, потому что я ему доверяю и я заслуживаю такого же доверия, никогда не изменяла, не изменяю и не хочу этого делать. Иногда у меня возникает чувство что он это делает специально, но не могу понять для чего?

В целом когда такие моменты происходят начинаю думать что он мне может не верен, а я просто наивная дура, и тогда вообще хочется просто развестись. Что мне делать? Как себя вести? Почему я всегда оправдываюсь, хотя ни в чем не виновата.