Не знаю что делать, как себя вести

Здравствуйте! Сейчас нахожусь в тупиковой для себя ситуации. В 20 лет родила сына, от женатого, жили вместе, сначала с моими родителями 2 года, потом с его 6 лет. Когда сыну исполнилось 7 лет заговорила с "мужем" о разводе и о втором ребенке. Он сказал, что его и так все устраивает. В 2013 году собрала вещи и мы с сыном уехали жить к моим родителям. Он вернулся к жене, потом ушёл от неё обратно к родителям. С сыном не общался совсем. В 2017 году "мужа" я похоронила. Живём мы в троем, мама, сын и я. В октябре 2018 начала встречаться с мужчиной, мне 34, ему 43. Вместе работаем. Он разошелся с женой год назад, для него развод был тяжёлый, она его выгнала. У него сын. Суть в том, что как я начинаю встречаться с мужчиной, моя мама начинает говорить, что я должна быть дома, либо сына брать с собой. За 5 месяцев мне удалось маму убедить, что иногда мне необходимо и можно выходить из дома одной. А сейчас у меня развилось чувство вины, когда я уезжаю к мужчине домой с ночевой, а сына бросаю на бабушку. Мой мужчина живёт в коммуналке после развода. Я разрываюсь между двух домов и не могу сама начать разговор про совместное проживание вместе с сыном. Раньше я уже пробовала 2 раза встречаться с мужчинами, но рвала отношения через месяц из-за того, что мне надо домой к сыну. Как сейчас быть, незнаю. Мне очень хорошо с ним, и сыну он нравиться. Но у сына сейчас переходный возраст, боюсь сейчас без присмотра оставлять. Как вести себя дальше? Сказать все в лоб или просто оставить наши отношения только для редких встреч? Хочется уже серьёзных отношений. Извените, пишу первый раз о своих проблемах.