Может ли папа, росший без отца, воспитать сына?

Здравствуйте, мне 33 года, моему сыну почти три. Мы с сыном живем у моей мамы, папа моего ребенка живет в другом городе и иногда приезжает к нам в гости. Когда я забеременела, у нас с папой моего будущего сына резко ухудшились отношения, и я переехала жить к своим родителям (тогда еще был жив мой отец). Сын растет и я все чаще задаюсь вопросом, правильно ли поступила, разлучив сына с отцом. Получается так, что сейчас мой ребенок растет в абсолютно женском коллективе, папу он видит редко (1-2 раза в месяц). Как в нем развить мужские качества, если не с кого брать пример? С другой стороны, если сам папа моего ребенка рос без отца, сможет ли он воспитать в нем мужчину? В нашем папе очень не хватает этого самого "мужского" стержня: он безынициативен, ленив, способности по самоорганизации нулевые, от ответственности бегает, как от огня. Но при этом любит сына и сын его тоже. Стоит ли пытаться восстановить отношения и создать семью, если мы (я и папа ребенка) постоянно конфликтуем. Как будет чувствовать себя ребенок рядом с такими родителями? Помогите расставить приоритеты.