Чувствую вину перед детьми, не знаю, как поступить

Здравствуйте. Я не знаю как быть. Была у меня семья. Прожили 8 лет. Я ушла от него , так как полюбила другого. Были три года любовниками. Потом в итоге я развелась. Молодой человек из другого города, расстояние между городами очень большое, до него ехали двое суток на поезде. Живем вместе третий месяц. И проблема здесь образовалась не одна: Дочка старшая (я ее удочерила, дочь у первого мужа) не хочет учится, она и так слабо училась с двойки на тройку, все просится домой не хочет здесь жить и школа тяжелая, требований больше. Не слушается 13 лет переходный возраст. Младший (от первого мужа) тоже все скучает по отцу домой тоже просится. Молодой человек не нашел общий язык с сыном( ребенку 6 лет). А сын наоборот к нему хорошо относится, правда ревность проявляет. Нынешний говорит что я его сильно разбаловала, что он сам ничего не умеет только при помощи мамы, да и по мелочи всякой раздражается. Бывший муж покоя не дает на расстоянии нервы треплет, я понимаю, что он по детям скучает. Но я знаю что если я приеду то он мне жизни не даст (прошел чечню, агрессивный). Он не знает что я живу с кем то приходится скрывать, так как очень боюсь расправы.По этой то причине я и уехала так далеко. Работу не могу найти нормальную денег не хватает только на еду( бывший муж немного помогает с деньгами) зарплаты очень маленькие. Ребенок стал очень часто болеть простудными заболеваниями я и сама тоже. Может климат не подходит. А у молодого человека наоборот с работой все хорошо , нашел ее с трудом так как имеет судимость, а с ней устроится очень тяжело, планирует открыть свое ип, в общем есть планы. Заработок пока у него маленький. Квартиру снимаем. Между собой отношения хорошие, иногда ругаемся по бытовым мелочам, как без этого, И самой мне тяжело, что я в чужом городе нет никого родных, кроме него. Вот и не знаю что делать. где раньше жила нет перспектив( деревня) один завод, для детей ничего нет. А Миасс это все таки город для детей много чего есть.правда пока денег нет. Но перспективы есть в будущем. ЧТО ДЕЛАТЬ ЧТО? Домой поеду дети будут довольны рядом с отцом, но он мне жизни там однозначно не даст, поселок маленький люди знают куда и зачем я уехала и так сплетничали, приеду еще пуще осуждать будут, да и молодой человек возможно сюда не поедет, придется расставаться, а его очень люблю и не хочу его потерять. А если я останусь здесь детей очень жалко плачут домой хотят. Как быть, как поступить, подскажите?