Ребенок хочет жить с бабушкой

Здравствуйте, меня зовут Наталья. У меня большая проблема. Когда сын пошел в первый класс,в связи со сложным графиком работы(до 23 часов),пришлось отдать его на проживание к моей маме, тк мама работает в школе учителем старших классов и могла приглядывать за ним. Решили, что сын закончит начальную школу и вернется опять ко мне. За это время я часто ездила к нему (2-3 раза в неделю), делала уроки,брала его в отпуске на море и т.д. Этим летом стали настраивать его, что надо переехать ко мне, жить вместе, учиться в другой школе( ему сейчас 11 лет, перешел в 5 класс). но сын уже летом начала говорить, что не хочет, привык к этой школе, к друзьям, и вообще хочет жить с бабушкой, а ко мне приезжать по выходным. В общем я все равно его перевела, сменила работу с нормальным графиком, но сын никак не может привыкнуть. Первая неделя была очень сложной, я взяла отпуск за свой счет, учила его дороге в школу, провожала,встречала, помогала ему преодолеть стресс. Но сын плакал,каждый день,звонил бабушке.умолял ее вернуть к себе. Мне начал говорить страшные слова, что я строгая, приучаю его к порядку, делать уроки заставляю, и вообще он покончит жизнь или сбежит из дома. Он он хочет в ту школу, к друзьям. Вообще сын тяжело сходиться с людьми, у него в классе был один друг и в садике тоже. Но в новой школе одноклассники его приняли, и он с ними общается на переменах. Мама уже стала говорить, чтобы я его обратно перевела, чтобы он не мучился. Вторая неделя более менее прошла,но сын заболел и три дня жил у мамы опять(тк на новой работе после отпуска я уже не могла взять больничный). И опять стресс после выздоровления, опять слезы начались. Плюс еще на уроках он периодически спрашивает у учителя что нибудь ( невнимательный, с первого раза никогда не слышит) и девочки в классе начали на него обзываться ( ты что тупой?все новенькие такие тупые?), ему очень обидно. один день он так плакал,что я уже готова была сломаться. на выходных он всегда у бабушек.он ждет пятницы всю неделю. и не отпустить его к ним я не могу,боюсь ,что еще больнее ему сделаю.но каждое воскресенье мы едем домой со слезами. на неделе мы с ним ладим,хорошо живем,я пытаюсь быть ему другом. но маме сын звонит все равно и говорит,чтобы она его обратно забрала. а я не понимаю, что я делаю не так? ведь я же с ним по доброму, никогда голос не повышаю, балую его иногда, учу всему (компьютеру например). бабушка его баловала сильно, он даже вещи утром сам не одевал, уроки делал долго, чай не может сам налить, и честно говоря, сын большой лентяй. я незнаю что делать. помогите пожалуйста. может и правда стоит его отдать маме? а я буду приезжать как раньше..душа разрывается от его слез. я не показываю ему, как тяжело мне. пытаюсь быть с ним на позитиве, а ночью реву в подушку