Чувство вины мужа перед дочкой от первого брака

Здравствуйте,я замужем второй раз, от первого брака у меня 2ое детей (12,7 лет мальчики)и совмемтный у нас ребёнок (сын 2 годика) у мужа от первого брака дочь (13 лет)

Проблема в том что муж хоть и не сознаётся в этом но как я замечаю у него чувство вины перед дочкой, от этого наша семья не может жить полноценной жизнью,т.е. мы не можем куда пойти и поехать без дочери он боится её осуждения,дочка живёт с матерью, муж платит регулярно алименты, по мимо алиментов обязательно подарочки, различные покупки, стоит ей на что то показать тут же исполняется, общается муж регулярно с дочкой и она часто бывает у нас.

Вот проблема стала в том что летом мы хотим поехать в отпуск, финансы у нас ограниченые, да плюс ко всему муж меняется в присутсвии дочери ко всем нам, мы ему просто начинаем мешать.По этой причине в отпуск я хотела бы поехать только нашей семьёй, я понимаю дочка часть его семьи, но я чувствую себя в чём то ущемлённой, если она поедит нам придётся платить полную сумму самим, мать естественно ни копейки не даст.Так же я чувствую что это не справедливо по отношению к моим детям, если дочка поедит то придётся в моей семье в чём то отказывать себе и детям что бы только взять дочь с собой.С мужем разговаривали на эту тему, он говорит или берём всех детей или не берём никого...не знаю как быть в этой ситуации, ведь в прошлом году когда у нас были финансовые проблемы мы никуда не ездили с детками в тот момент как дочка с матерью ездили в отпуск, я так же мама и хочу поехать в отпуск с детками, предложила вариант что он едит один с дочерью а я с со своими детьми его тоже не устраивает, в общем я запуталась.

Одно знаю что мы дочку не в чём не ущемляем, почему муж не может один раз закрыть глаза и просто поехать в отпуск "нашей семьёй"?

подскажите как быть?