Живем с мужем, как соседи, а на развод не решаюсь

Здравствуйте, я жила с парнем в гражданском браке 2 года, потом забеременела и мы поженились, с тех пор прошло ещё 2,5 года, то есть вместе мы всего примерно 4,5 года. Мне 25 лет, ему 29 лет. Сейчас, уже практически два года я нахожусь в декретном. У нас сложно складываются отношения, мы оба эмоциональные люди и упертые. А проблемы у нас на данный момент следующие. Во-первых интимная близость у нас бывает раз в два месяца, мне этого очень мало, а муж не хочет. Что я только не пробовала, и говорила с ним (в разных ключах: намекая, ласково и агрессивно), покупала сексуальное белье, отправила его к врачу, накупила таблеток для повышения мужского либидо, всё безуспешно. В ответ он говорит: либо "всё будет нормально", либо агрессирует, говорит, что мы недавно ругались и он типа меня не простил ещё или то, что устал, и т.п. Когда это началось? Сказать сложно, изначально меня не устраивала наша сексуальная жизнь, я не могла получить с ним удовольствия, но интим был (с партнерами до него у меня проблем не было), через пол года-год я решилась сказать ему, что меня не совсем всё устраивает, что мне хочется по другому, но оказалось, что ему по другому не хочется и с тех пор всё как-то пошло по убывающей, совсем плохо стало наверно после беременности и по сегодняшний день. Я уже подумываю завести любовника, но сидя в декретном это сделать нереально.) Надо отметить, что с потенцией особых проблем у него нет. Бывало, что падал во время полового акта, или не вставал. После похода к урологу у него обнаружили хламидиоз, а у меня его почему то нет, хотя предохраняемся мы прерыванием полового акта. После лечения стало лучше, вроде не падал больше, повторно анализ он сдавать почему-то на отрез отказывается, а вот частота секса и его качество ни чуть не улучшились. Утренний стояк есть. Второй момент, это то что муж очень плохо обеспечивает семью, до декрета я зарабатывала больше, а в декретном мы с копейки на копейку перебиваемся. У него ещё есть алименты первому ребенку. Дома он не сидит, работает, но то обманули, то задержали зарплату, то сначала нормально платили (пару месяцев), а потом зарплата стала ниже, вот и бегает с работы на работу.В-третьих, мы не уважаем друг друга, в ссоре он начинает первый меня оскорблять, ну а я в ответку, бывает не оскорбляю его, но задеваю за "живое", вот и кроем друг друга последними словами, ладно дочка ещё маленькая и значения слов не понимает. Я не уважаю его потому что, для меня мужчина это тот кто семью обеспечивает и жену любит во всех смыслах этого слова, а он получается не мужчина, а сосед, отец моего ребенка. Живём мы в моей квартире, он в ней ремонт сделал и теперь, когда я предлагаю ему съехать от нас, говорит, что я его использовала и ни куда не уходит. Я подумываю о разводе, потому что не знаю как решить эти проблемы, особенно когда он от этих проблем просто закрывается. Не хочу чтобы ребенок видел эти скандалы, хочу быть счастливой по женски, а развестись решимости не хватает пока. Я скоро выйду на работу и думаю, что смогу обойтись без него, тем более учитывая его заработок. Просто я уже знаю, что будет когда я выйду на работу, я опять буду всё тянуть на себе... Единственное, отец он хороший, и дочка его очень любит, это меня останавливает. Прошу Вас, дайте дельный совет.