Бывший муж изъявил желание общаться с дочерью

Добрый день! Мы с супругом сейчас находимся в стадии развода, у нас есть дочь 4 лет. Примерно с сентября прошлого года мы живем раздельно, муж пьет и в воспитании дочери участия не принимает, не считая крохотных алиментов. У меня недавно появился мужчина, у него серьезные намерения по отношению ко мне, поэтому он теперь живет с нами(со мной и моей дочкой). Они хорошо ладят, но дочка нет-нет да и спрашивает про своего папу. Говорю ей, что папа занят, что он все время работает и поэтому не может с ней встретиться. Дочка относится к этому спокойно. Но сегодня мне позвонил муж и сказал, что хочет общаться с дочкой. Я даже не знаю, как себя вести в этой ситуации. Мы-то девочке про отца и слова плохого не говорим, хотя у него навязчивая идея, что ребенка вся моя семья и друзья настраивают против него. А вот у него есть такая привычка(так и у него в семье было)-говорить про меня гадости при ребенке. Боюсь, что дочка начнет страдать по папе, а ведь не объяснишь ей, что для него выпивка дороже.

Подскажите, пожалуйста, как мне быть?