Бывшая семья моего мужчины против наших отношений

Я встречаюсь с мужчиной около года. Он старше меня на 20 лет, живет в пригороде. На выходные забирает меня и мы проводим выходные вместе. Он разведен уже 15 лет, но у него очень тесные отношения с своими дочерьми и даже с бывшей женой. Он живет в своем доме и она там занимается огородом. В начале отношений мы сдружились с его младшей дочерью и ее дочками.Есть в их семье большая странность, там совершенно не уважается мужчина и даже намеренно уничижается. И в один из таких моментов, когда она стала, буквально, унижать отца в моем присутствии, я высказала свое мнение. После этого наши с ней отношения разладились и она стала меня избегать. А на майские праздники приехала старшая дочь и после этого начались гонения на меня. Его бывшая жена заявила, чтобы я не приезжала, чтобы мы встречались зимой, а летом им там не мешали. Мужчина слабо возражает им. В одни выходные, он предложил мне приехать вечером в пятницу, а в субботу утром он должен был меня увезти. Я отказалась приехать вовсе. Тогда он мне перезвонил и сказал, что забирает меня на все выходные и объяснит им, что имеет право на личную жизнь. В субботу пришла его бывшая жена, устроила ему выволочку и заявила, что будет сюда ходить, когда ей вздумается. И вот уже на этой неделе младшая дочь объявила о своем желании переселиться с дочками к отцу на лето. Сегодня пригнали машину с вещами. Одним словом, началась крупномасштабная компания по моему изгнанию оттуда. Он мягкий человек, пытается слабо сопротивляться, но там такие базарные женщины, которые просто его затыкают.Дошло до того, что дочь заняла его комнату, выставив его вещи. Заявив, что тут им удобнее. В общем, какой-то кошмар. Он боится меня туда привозить, признался сегодня, что не решается противоречить дочери, из-за того, что она после развода попала с расстройством психики в больницу. И он боится повторения, жалея детей. С одной стороны, он понимает, что им манипулируют. А с другой не хочет скандалов и не настаивает на своем. Хотя и высказывает мне недовольство ситуацией. Как вы считаете, как мне поступить? С одной стороны, мне противно все это. А с другой, человек имеет право на личную жизнь. И у нас с ним все хорошо, между собой. А также у меня есть желание побороться, но корректными методами. Что посоветуете?