Как справиться с таким состоянием?

Здравствуйте. Так случилось в моей жизни, что влюбилась в женатого мужчину. Мы с ним встречались какое-то время, затем у него появился ребенок и мы порвали отношения. Через несколько месяцев он снова появился и я не смогла сказать "нет". Он окончательно решил разорвать отношения с женой (о том, что отношения в семье у них не складывались и все шло к разводу, несмотря на появление ребенка, я знала и раньше). Мы стали жить вместе. Он развелся. у нас появился ребенок. И все бы хорошо, но есть одно но... Еще до развода у мужа с его бывшей семьей были контакты, он давал деньги на ребенка, видел пару раз его. А после того как бывшая жена убедилась в том, что у него есть другая, то перестала общаться, говорила, что "если хочешь видеть ребенка, то приезжай к моим родителям, я теперь там живу". Ну он отказывался приезжать к ее родителям, потому, что там его прогоняли. Он и не хотел унижаться. какое-то время не платил алименты, потому, что бывшая жена не давала видеться с ребенком вне стен ее родительского дома. Ну честно говоря, мужу пару раз по телефону сказали " ты нам не нужен", " забудь про нас", " у тебя, что плохо в семье, чего мне звонишь", он и перестал как-либо проявляться по отношению к тому ребенку. Ребенку уже четыре года, а он ни разу не видел своего отца и не знает кто он. Многие считают, что он бросил своего ребенка. Я раньше к этому ровно относилась, а сейчас иногда мучает советь, может если бы я не появилась в его жизни, то у него было бы все хорошо в той семье? Муж говорит, что я бы не жил бы с той женщиной. И еще не знаю как относиться к мужу. Он хороший: меня чуть ли не на руках носит, работящий, дочку нашу любит безумно, не изменяет (это я точно знаю), он не бабник, не гулящий, любит меня и нашу семью, делает для нас все, я его тоже очень люблю. Но с другой стороны я ненавижу и всегда презирала мужиков, которые бросили своих детей. Думаю, что он не проявил достаточно настойчивости, что общаться с ребенком, ему было легче убежать оттуда, чтоб не слышать унижения и гадости в свой адрес. Из- за этого нахожусь в постоянном напряжении. Портятся отношения, из- за меня и моих постоянных расстройств. Постоянно думаю о том ребенке, как он растет без папы, как он там. Знаю, что бессмысленно налаживать контакты с той семьей, мужа просто посылают далеко и на долго, говоря, что "ты нас бросил, вот и не звони, нам от тебя ничего не надо". Я чувствую себя плохим человеком, просто гнидой, из-за того, что встречалась когда-то с женатым, и из-за того, что люблю, человека, который не проявляет на данный момент интереса к своему ребенку. Я хочу с ним сохранить отношения и семью, люблю его. Но от того, что хожу в постоянном напряжении из-за такой ситуации, может разрушиться моя семья. Помогите, подскажите как исправить свое состояние или отношение ко всему этому.