Общение с ребенком

Помогите разобраться.с отцом ребенка ему 44 года я прожила у его матери почти 3 года,он просил ребенка я родила дочь и после этого он обозлился на меня,я не пойму в чем причина.свекрови это только на руку так как она раньше не хотела наших отношений,он маменькин сынок и во всем ее слушает.сейчас я живу отдельно от них у себя с ребенком,он не отстает.сказал мне чтобы я жила своей жизнью а сам подал в суд что я не даю видеться с ребенком хотя я ни в чем не препятствую,сам приезжать не хочет а просит забирать ребенка на время к своей матери,но дочь еще маленькая ей год и три месяца мне надо с ней ездить.незнаю как быть.он не отстает от нас.говорят живите своей жизнью сами опеку на дом к нам вызывали ,его мама жалуется опеке что я не даю внучку,сами не хотят ей заниматься ,лишний раз денег не дадут,получаю алименты.у него бывают запои.незнаю как себя вести в этой ситуации???Ольга,33 года.продавец консультант.