Сын не дает сдачи

Здравствуйте! Моему сыну уже почти 8 лет, но он не дает сдачи обидчикам. Я с малых лет ему говорила, что драться нехорошо, но если его обидят, нужно обязательно ответить, иначе обижать будут всегда, потому что он позволяет это делать. И вот уже на протяжении 5 лет ничего не получается. Первые физические конфликты произошли , когда ему исполнилось 3 года и он пошел в детский сад. Так сложилось, что с его отцом мы развелись и он никак не участвует в судьбе сына. Воспитывали его мы с моей мамой. Я сына не балую, не сюсюкаю, не принимаю решений за него, ничего за него не делаю, приучаю к самостоятельности. Занимался плаванием, разонравилось, пошел на каратэ. Но сдачи так давать и не начал. Даже младшим детям он не отвечает. Я его учу, что маленьких обижать нехорошо и лучше отойти, если они лезут в драку, но ведь бывают и исключения. Дети есть разные, порой очень избалованные, которые понимают только кулаки. Таким необходимо отвечать, чтобы понимали, что другому тоже больно. Сколько раз я с ним разговаривала, выясняла причины отсутствия реакции на драку, бесполезно. На вопрос "почему ты не дал сдачи?" отвечает "не знаю". Сын физически сильный, но почему-то нет уверенности в себе или он боится. Возможно, такой характер. Он у него спокойный. Но сын общительный и активный со сверстниками. Бабушка, требовательная ко мне, с ним наоборот бывает слишком мягкой и податливой. Мы живем не вместе, но большую часть времени он проводит с ней. С моим вторым мужем у сына хорошие отношения. Он тоже пытается научить его давать сдачу, показывает и рассказывает, что и как делать, но все тщетно. Подскажите, пожалуйста, в чем причина такого страха перед физическим ответом, иначе я не могу это назвать, у моего ребенка? Чем ему помочь?