Как помочь сыну?

Здравствуйте. Я в разводе уже 5 лет за все это время у нас с сыном( сейчас ему 15 лет) нормальные отношения, но есть одна проблема после развода я не запрещала и он общался с семьей ( бабушкой и дедушкой иногда с отцом ,если он был в одыквате) бывшего мужа, но после каждой встречи ребенок приходил подавлен, со мной и моей мамой( мы живем с ней) он не общался,огрызался, истерил, на какие -либо вопросы и выяснения ситуации что произошло не отвечал. После очередной такой истерии я запретила общаться и ходит туда в гости. С их стороны никаких вопросов , звонков не было и создавалось ощущение, что они этому только рады. У нас дома все наладилось, ребенок стал более понимающие относится к нам, учебе, появились интересы и друзья. Но последние время ( полгода) ситуация стала повторять, выяснилось, что отец приходил к нему на тренировки и в школу с вопросом почему он к ним не ходит? , начались звонки со стороны бабушке . Около 2,5 лет не вспоминали а тут началось. Вся ситуация началась повторяться истерики, все плохо, мы его достали, не разговаривает с нами и т.д. Такое ощущение,что моего ребенка подменили. Запретить посещения я не могу он уже взрослый , но и говорить со мной на эту тему он не хочет .как быть и что делать я не знаю? Пожалуйста, дайте совет.