У моего жениха ребенок от первого брака

Добрый день!

Ситуация довольно стандартная. У моего жениха есть ребенок, двухлетняя дочь, от первого брака. Ребенок живет с матерью, но она у родителей как "переходящий приз", то с одним несколько дней, то с другим. Надо сказать тут же, что меня выводит из себя его бывшая, которая считает, что может преспокойно "свалить" ребенка на него в любое время, и надо сказать, он бежит туда по любому ее требованию.

Ситуация накаляется еще тем, что его бывшая жена очень не против его вернуть обратно, что я чувствую, и очень ревную по этому поводу.

Мы встречаемся полгода, уже думаем о свадьбе, совместное проживание не за горами.

Сначала, как только я узнала о наличии ребенка, все было хорошо. Мы с удовольствием гуляли, проводили время. Я сидела с ней пару раз, пока некому было. Но однажды при таком "сидении" у нас возникли проблемы, я была настолько вымотана криками и слезами, что написала жениху, что больше сидеть с ней не буду. Его реакция меня поразила, была довольно отрицательной, после чего я решила изменить свое отношение к данному вопросу. Начала отказываться от встреч, и тд.

После моего решения игнорировать его ребенка и не принимать участия в его жизни начались проблемы. Это единственный повод, по которому мы ругаемся. Я не понимаю, почему нельзя ограничить мое участие в жизни ребенка, ведь ей не нужно женское внимание, у нее есть собственная мать. А он в свою очередь считает, что я проявляю неуважение к нему. Я не ставлю выбор - либо я, либо ребенок - пожалуйста, пусть занимается, ездит, возит, но при двух условиях (о чем я ему сообщила) свести максимально на нет общение с бывшей (они обязательно переписываются и перезваниваются хотя бы раз в день, если он не звонит - плохой отец, забывший ребенка) и не впутывать меня в жизнь ребенка.

На мой взгляд, его бывшая манипулирует им с помощью ребенка, порой ради собственной выгоды.

Подскажите, как мне быть? что я делаю не правильно? и как объяснить свою позицию?