У него есть семья в прошлом, в настоящем есть я

Здравствуйте. Ситуация такая: у меня есть любимый мужчина. Мне 23, ему 34. В прошлом у него была семья. Есть двое детей и бывшая жена. И есть я. В настоящее время возникла проблема, что я в силу службы переехала жить в другой город. Он приезжал один раз на пару дней. Уехав, сказал, что скоро вернётся и уже насовсем. Но проблема в том, что каждый раз, когда он приезжает туда, где я раньше жила, он живёт в квартире, где живёт его бывшая жена и дети. И он становится как чужой. Я от этого психую и начинаю ему выносить мозги. И каждый раз так. Я устала от этого, но если бы не любила, то давно ушла бы. Его переезд в настоящее время откладывается, потому что заболели дети. И так постоянно. Я всегда на тором плане. Я настолько разлражена этим, что начала ревновать его к детям, вплоть до скандалов. Периодически уровень моих психов зашкаливает и я устраивают ему дикие истерики. При этом каждый раз, когда успокаиваюсь, извиняюсь перед ним, потому что понимаю, что когда-нибудь ему это надоест и он вернётся к ней. А я хочу, чтобы он был со мной, но уверенности в нём как не было, так и нет. Почему я так себя велу - я не понимаю. В особенно тяжёлые периоды я устраивают ему просто ужасные скандалы вплоть до того, что говорю ему, что все, я ухожу и бросаю его. И он меня всегда успокаивает и уговаривает не принимать таких решений, потому что любит меня и т.д. мне кажется, что проблема во мне и моей голове. Это состояние порой доходит до паранойи. Что мне делать