Как наладить отношения?

Здравствуйте. Ситуация такая. Своего мужчину я ждала 7 лет. Поняла, что люблю его достаточно давно. За это время успела побывать замужем и родить замечательную дочку, да и отношения с мужем вобщем-то неплохие. Все эти 7 лет параллельно общалась и с ним, но на уровне звонков и редких встреч без интима. Причем инициатором нашего общения всегда был он. А вот уже 5 месяцев как мы вместе. Как сказать, вместе. Переступила я эту черту и переспала с ним. Встречаемся также редко, от силы раз в неделю. Он говорит, что никаких отношений у нас нет - любовники и все. Лишь один раз совсем недавно, он в порыве сказал, что любит меня. Только раз, больше не повторял. Он очень тяжелый. Может обидеть, сказать, что позвонит и не перезвонить, встречаемся только тогда, когда ему удобно. Я вообще-то женщина самодостаточная, и такого отношения от мужчин не терплю, а с ним молчу почему-то. Наверное, боюсь его потерять, так долго ждала...Он обидеться может и не общаться достаточно долго. В целом за эти 5 месяцев переживаний у меня было гораздо больше, чем радостных моментов. Думала, бросить все, но оказываясь с ним рядом, таю и ничего не могу с собой поделать. Один раз попыталась высказать ему свои обиды, вызвать на разговор, а он лишь ответил, что я знала,кого выбрала, что он привык жить лишь для себя и поступать так, как ему удобно. Я уже поняла, что жертвовать своими интересами ради меня он не будет. Секс для него тоже не слишком важен, это я тоже уже поняла. Один раз после очередной его обиды, я первая пошла на сближение и позвонила. После этого он самодовольно рассмеялся в трубке:"Я знал, что ты первая позвонишь и не выдержишь". Было очень обидно. Дала себе слово, что больше первая мириться не буду. Сейчас у нас очередная размолвка. Молчим уже 10 дней. Переступить через себя в этот раз я не могу, что-то внутри мешает. Но и без него очень плохо. Совсем другими я представляла наши отношения...