Муж слишком забит и не хочет общения

Здравствуйте! Мы с мужем женаты 4 года,есть дочка 3 года. Знакомы мы с ним давно,еще со школы,учились вместе,я его с армии дождалась и поженились. Эта проблема у него была давно,но я почему-то думала,что все пройдет,что обзаведется семьей и все наладится. В общем,ему трудно заводить знакомства и вообще с кем-то общаться,он не любит компании,любит сидеть дома,и чтобы к нам никто в гости не приходил. Сразу скажу,что вырос он с бабушкой,мать с отцом развелись,когда ему было 3 года,потом мать была в поиске нового мужа,в итоге нашла молодого,его оставила с бабушкой,а сама вышла замуж и родила еще дочку. В итоге,она приезжала к нему просто как в гости. До сих пор помощи и чего-то материнского он от нее не видит. Так вот еще в школе он был сам в себе,сидел сам за последней партой,учился плохо. Но мы с ним как-то сошлись,и мне он понравился. Он часто мне говорит,что если б не я,он наверно так и был бы один. В общем,проблема в том,что он становится грубее со временем,если раньше он не хотел ни с кем общаться,мы-то особо и не общались ни с кем,теперь он и не хочет с моей семьей общаться,мы туда поехали в гости на праздник,он поел и ушел смотреть телевизор,мне прям стыдно за него,все сидят за столом,он всегда выделяется. Лишний раз он не хочет ни с кем собираться,я уже не таскаю его в компании какие-то,это просто мои брат и сестра с семьями,но он уже и с ними не хочет общаться,а я так не могу. Мне стыдно перед родственниками и не хочется терять с ними связь. На праздник он мне не может и цветка подарить,каждый праздник через ругань и ссоры. Он начинает говорить,что ему не нравится это все,а я получается ничего не получаю от него. Моя сестра ему сказала,что можно было б цветок хоть купить,в итоге он на нее наорал,чтобы она не лезла,что он если б захотел,то купил бы. То есть прямым текстом так и сказал что не хочет. В гости поехали,он поел и пошел телевизор смотреть,а домой приехали,сел есть. Я ему так и сказала:че ж ты там не ел,а ушел из-за стола? Он ответил,что ничего не хочет. В общем,я не знаю,что делать. Я не скажу,что я чересчур общительная,но с ним становится тяжелее,мы не можем все вместе поехать детей свозить погулять,он начинает злиться,он не хочет собираться с моими братом и сестрой. Если над ним шутят,он сразу злится и все воспринимает в штыки. Я не знаю,что делать,не хотелось бы до развода доводить. Дочку он любит безумно,меня тоже не обижает в принципе,но из-за таких вещей я не могу лишний раз даже у родителей просто расслабиться,я постоянно в напряжении,что он нагрубит кому-то. Со своей матерью и бабушкой он общается так же грубо,но на то есть причины,и я его понимаю. В общем,не знаю,смогла ли вам полно все раскрыть,я эти дни прям мучаюсь и не знаю,что делать. Часто стала жалеть,что вообще вышла за него замуж. Подскажите,пожалуйста,как мне быть? Заранее спасибо за ответ.