Мужчина с прошлым. Как построить отношения?

Здравствуйте!живу с мужчиной 1.5 года,был женат 2 раза,от браков остались дети,но меня больше волнует последний... ему 36 лет, мне 24....Проблема в том, что он все свое свободное время и вечера проводит с детьми на квартире, где живет его бывшая жена....соответственно, понимаю, что встречи с ней неизбежны.все выходные он тоже старается по возможности проводить с детьми....но дома его я практически не вижу, возвращается поздно, уставший...Про отношения с бывшей женой старается умалчивать. А когда я начинаю спрашивать-сильно раздражается.... Мне очень не хватает его внимания.....Стараюсь поговорить - кроме раздражения ничего в ответ не получаю.....

Тем самым меня все чаще посещает чувство ревности к ней, т. к отношения у них очень хорошие, он созванивается с ней и детьми каждый вечер, желая спокойной ночи, и утром-желая "доброго утра", а также при любой возможности он старается брать её на прогулки с детьми. Правильно ли это? Я не общаюсь с его детьми,не знакома с ними.Вместе мы с ним проводим очень мало времени,пару часов в день, в обед час и перед сном столько же примерно.(т.к возвращается он от бывшей жены и детей довольно поздно)

при каждом возможном случае,я пытаюсь поговорить с ним и напомнить о себе-но наталкиваюсь на негатив... Мне тоже хочется его внимания. Но в ответ слышу: "Если выбирать между тобой и детьми-я выбираю детей"... Я не знаю как себя вести в данной ситуации?

Как быть?