Не знаю, как дальше быть?

Здравствуйте, меня зовут Анна мне 39 лет, сыну 18 лет. 5 лет я встречаюсь с мужчиной вдовцом который старше меня на 18 лет. Из-за большого расстояния видимся мы с ним 1 раз в 2 недели , то я еду к нему то он приезжает ко мне. У него есть дочь 30 лет (за мужем 3-й раз) и две внучки , живут они отдельно от него недалеко от меня и которых он безумно любит. Отношения с его дочерью не складываются с самого начала. В течении этих лет свой отпуск я проводила всегда с его родственниками, детьми и внуками,редко с нами был наш сын. Конфликт начался из-за того что я со своими коллегами вмести с ним собрались на выходные на море. И тут он звонит дочери и приглашает ее и внучку поехать с нами. Я сказала ему, что я хочу отдохнуть и провести выходные с коллегами и с ним. А он сказал это мои дети и что я его заставляю выбирать между мною и ими. Я ему ответила, что дочь уже в отпуске месяц и проводит свой отпуск так как она хочет, почему свой выходной я не могу провести как хочу я. В общем пока, я за эти годы молчала, проводила с ними отпуск, играла с внуками, то была хорошая, а когда мне захотелось отдохнуть как хочу я, то вдруг стала плохая. Я не говорю уже о своем сыне, его дочь просто его не замечает, когда мы приезжаем к ней. Сейчас собираюсь в отпуск, хотели ехать отдохнуть, но опять меня ставят перед фактом, что с его детьми, о моем сыне речь не идет. Вчера сын сказал:"Мама езжайте куда хотите, я буду дома". Подскажите пожалуйста что дальше делать, как быть? Как быть в этой ситуации, когда он сказал, что ему нужна женщина которая бы любила его детей и внуков. Что же делать с нашими отношениями? Много я от него не требую, живу на свою зарплату.