Как решиться на личную жизнь?

Добрый день! мне 34 года. Есть дочь шести лет. 4 года как ушла от мужа. Отношения не поддерживаем. К ребенку он даже не появляется. Живу с дочкой, своей мамой и бабушкой. Мама сидит с ребенком т.к. никогда не работала и сама предложила это делать, а я работаю. Все годы после развода была одна, никуда не ходила и не с кем не встречалась. Только работа-дом. С мамой отношения всегда были сложные, ей вечно все не нравиться, все не так и не то, чтобы я не сделала.И вот появился человек с которым встречались 9 лет тому назад, но тогда я от него ушла, о чем очень жалела все эти годы. Он не женат и не был, детей своих нет, материально обеспечен. Любит меня, а я его, к дочке как к своей, она к нему тоже тянется, его семья тоже замечательно нас приняла. Но что стала вытворять моя мать, просто страшно за ребенка. Вместе с бабушкой кричат, что не имею права на личную жизнь, что не должна переезжать жить от них к нему в коттедж!!. Оскорбляют при дочке, распускают руки, настраивают ребенка против меня, говорит ребенку, что раз я работаю, то ей не интересуюсь; против него и его семьи, распускают сплетни между знакомых, требует деньги за то, что сидела с ребенком эти годы, попрекает во всем, хотя сама никогда не работала. Столько всего, что и не передать. Он зовет замуж, хочет семью и еще детей. А я вот боюсь и не знаю как дочка отреагирует на переезд. Когда слышит скандал -плачет, но когда все тихо-она только и твердит, что это ее родной дом. Дома она как зомбированная бабушкой, но когда мы приезжали в дом к моему любимому - все хорошо. Она видит отношение к ней его семьи, видит, что они дружны и у них тихо и спокойно. Хочу создать крепкую семью, но боюсь как бы мать не настроила ребенка так, что она не захочет ехать к ним. Помогите ,пожалуйста, разобраться как быть.