Как понять себя? Чего же я боюсь?

Здравствуйте. Хочется написать не сильно много, но всё же понятно, т.к. надеюсь на помошь профессионального психолога. Мне 40 лет, разведена с 2002 года, вырастила дочь, ей сейчас 19 лет, она самостоятельный человек, и в отношениях с ней проблем нет. Уже 8 лет я встречаюсь с женатым мужчиной. Начались наши отношения легко и никто из нас не думал, что они продолжатся, да ещё и закрепятся... Я понимала, что он не уйдет из семьи, у него 2 детей и он их любит. Жену не любит, более того, она больна шизофренией (там наследственность - отец алкоголик, мать - истеричка). Собственно, и со мной он начал встречаться потому, что в семье его уже давно был разлад, но тем не менее, даже поняв, что действительно любит меня и боится потерять, сказал, что никогда не уйдет из семьи ради детей. Мы во многом помогали друг друг все годы "совместной" жизни, есть много очень добрых и хороших воспоминаний, общие друзья, практически нас воспринимают как семью. Меня в последние годы (3-4 года, наверное, после того как поняла, что и он мне дорог и отношения уже давно перестали быть отношениями просто любовников) очень тяготило постоянное ожидание его, зависимость от того, что я понимаю и верю в его любовь ко мне, и в то же время знаю, что он никогда не выберет меня. В этом году пыталась расстаться с ним, объяснила, что у меня больше нет сил ждать его, когда он выберет время и сможет ко мне прийти, что у меня так пройдет вся жизнь - наполовину замужем, наполовину - нет. Понимаю, что многие добропорядочные граждане бы осудили моё поведение, разбивающее чужую семью. Я не боюсь чужих мнений, да и не будь меня, он наверняка бы изменял жене, раз у них и так все не гладко было. А появилась я в его жизни, он стал спокойнее, увереннее в себе, и кроме меня ни на кого не хочет смотреть, я это знаю и чувствую. Расставание не получилось, продержались неделю. Потом он сказал, что без меня он как живой труп, я тоже поняла, что есть нечто душевное, что нас связывает и просто так оставить все наши отношения мне трудно. Вместе с тем, он почти не привлекает меня сексуально (по крайней мере, минимум как год уже), многое в его поведении стало раздражать... Вобщем, и нести тяжело, и бросить жалко - хотя для характеристики отношений такая фраза груба, но состояние примерно такое. Пожалуйста, объясните, если можете, что со мной происходит и есть ли смысл продолжать? Я, снова вернувшись к нему, решила для себя, что пусть эти отношения сами сойдут на нет, однако все продолжается и он не хочет меня терять, а я уже запуталась, как выйти из всего этого. Я знаю, чего хочу - домашнего уюта, мужчину рядом с собой (пусть даже не мужа, но чтобы была возможность видеться с ним, когда нам обоим это будет нужно, а не когда он выберет время), не прятаться, и влюбиться хочу. Да вот не в кого... Может, в этом причина? Но есть претендент, свободный человек, который мне симпатизирует. А я не знаю, как объяснить своему "мужу", что нет сил продолжать, и как понять себя - чего же я боюсь, не прекращая отношения с ним. Всё-таки, связывает нас многое, и это не слова, есть тепло, но это не то, что нужно мне сейчас.