Уйти ли от мужа?

Я в браке 3-й год.у моего мужа есть ребёнок от другой.Он живет с нами.малышу 4-й год,я воспитываю его почти с годовалого возраста и завет он меня мамой.у нас есть и общий ребёнок,дочка 1 год.детей я не делю на "свой чужой" безумно люблю обоих.но страшно нервничаю когда с периодичностью один раз в месяц-два месяца появляется другая женщина, чтобы как мне кажется насолить нам.ребенок ей судя по всему не нужен,иначе она не стала бы выискивать поводов не забирать ребёнка в отведенные ей часы в духе: "не хочу ехать на общественном транспорте"(хотя живет в получасе езды).Я нервничаю а мужу кажется что нет повода я обьясняю что мне тяжело смирится с присутствием постороннего в нашей семье-он и слушать не хочет,как результат скандалы. а скандалить мой муж умеет только криком однажды даже ударил меня.Он не тиран просто такое неблагополучное воспитание.конечно он меня любит да и я, думаю, тоже, но как только какая то склока это всегда аскорбления до жути обидные.как быть мы любим друг друга но я не могу больше при каждой ссоре слушать какая я ... в красках.