Как себя вести?

Живу с мужем чуть больше 3-х лет.Когда у нас завязались отношения он с женой не жил 3 года, но они небыли в разводе. С его женой я хорошо знакома,можно сказать отношения дружескими были.Я часто спрашивала, хотела бы она вернуться к мужу? на что она всегда отвечала отказом. Она встречалась с другим мужчиной. О наших отношениях она узнала через год. У него от первого брака дочь, у меня дочь и сын. Мои дети живут с нами. Бывшая жена не раз просила с их дочкой посидеть. Причем звонила мне, а не ему.Вскоре после того, как узнала о наших отношениях,все изменилась . В прошлом году мужа посадили на 11мес. Сейчас они в официальном разводе, но со мной он не спешит расписываться. Бывшая приводит домой других мужчин, которые общаются с их ребенком, а когда муж хочет погулять с дочкой или забрать на выходные, говорит что не хочет, что бы дочь с чужой женщиной общалась. И тем более чужими детьми, хотя наши дети очень хорошо ладили. Общение с дочкой возможно только в ее присутствии, что меня очень беспокоит. Подскажите,как себя вести, что бы не ссориться, мы оба страдаем и ребенок тоже. Дочка его очень любит. А я боюсь потерять.