Без его объяснений схожу с ума

2 года назад я встретила мужчину, я безумно влюбилась и он тоже, так получилось что он жил в гражданском браке когда у нас начались отношения (у него тоже жизнь разбитой была), он меня на 6 лет старше, у него после армии была жена, родился сын, и когда сыну было 3 года он ушел из семьи, его сыну будет м этом месяце 18 лет, причин почему он ушел я до сих пор не знаю, знаю только то, что н до сих пор не в разводе, хоть 15 лет не живет со своей женой, знаю что он пил раньше по страшному, но лет 5 он точно не пьет ни капли! Мы с ним живем уже 2 года и 3 месяца гражданским браком, по его инициативе ( он и моя дочь смысл всей моей жизни, правда, я сильно сильно его люблю, но он очень очень закрытый, замкнутый и нервный человек, я знаю всех его родственников, мы часто ездим в деревню к его маме, он хорошо относится к моей дочке, но есть какое то НО, которое я не могу понять.. я даже описать толком пока не смогу, чтобы вам объяснить всего, он взрывается по любому поводу, начинает мне говорить обидные слова, говорить что ему вообще бабы не нужны, он не любит рассказывать ничего ни о себе, он утром уходит, вечером приходит и если я хоть попытаюсь его спросить о том как прошел день, он взрывается, кричит что я достала его с расспросами и т.д. и т.п.. я не знаю что написать еще, много всего есть.. НО Я ЗНАЮ ОДНО, ЧТО НЕ ХОЧУ ПОТЕРЯТЬ ЭТОГО, ИМЕННО ЭТОГО ЧЕЛОВЕКА!! Я ГОРЖУСЬ ИМ, Я ЕМУ ДОВЕРЯЮ И ВЕРЮ, а он в приступах нервов кричит что я достала его ревностью, но я не понимаю, какой?? или это опыт его прежних отношений или что, но он даже и поговорить со мной откровенно не хочет. А последнее время твредит что уйдет от меня, я ему говорю, уходи, если хочешь, я тебя не держу.. но он успокоится и все хорошо.. А у меня в душе не понять что, я то эти слова запоминаю и без его объяснений схожу с ума, не знаю что думать, как жить дальше, что происходит? Помогите мне кто нибудь разобратся, пожалуйста.. Я в депрессивном состоянии, эти его слова сидят во мне, а он только и говорит, не обращай внимания.. А как??