Отдавать ли детей?

Здравствуйте! Ситуация следующая:развелась с мужем полгода назад. Прожили 7 лет.Двое детей (мальчики ,5 и 7 лет).Сейчас муж живет с другой девушкой в ее квартире.У девушки своих двое детей (мальчики,10, 6 лет) и она ждет ребенка . Муж берет моих детей к ней с "ночевкой", но мне это не нравится, так как после этих встреч дети ведут себя дома неадекватно и вседозволено, грубо разговаривают со мной, сравнивают меня с "папиной Олесей",домашнее задание за старшего сына делает Олеся и ее сыновья. Разговора с бывшем мужем у нас не получается,потому что строится на взаимных оскорблениях и претензиях. Я старше мужа на 7 лет. Работаю учителем, он- водитель-дальнобойщик. На развод подала я, так как он начал "поднимать руки",оскорблять меня, мало времени находится дома и не уделять внимания детям. Муж пытался лишить меня родительских прав, писал заявления в ювенальную полицию о том, что я не даю сменных вещей детям.На имя директора моей школы писал заявление о том, что я не выполняю своих материнских обязанностей.По суду дети живут со мной в моей квартире.Помогите, пожалуйста! Я не знаю , как мне поступить правильно: отдавать ли детей на выходные к папе с "ночевкой у тети Олеси"? Не навредит ли это моим детям? Как отразиться в будущем на их характере то, что у них нет понятия "ДОМ"? Спасибо.