Вызываю беспричинную ненависть у других людей

Я работаю охранником на нефтегазовом месторождении, вахтовым методом 30/30. В поселке работают примерно 500 человек. Многих из них я конечно не знаю. Давно стал замечать что у некоторых людей вызываю злость, хотя я их не знаю, никогда ни разу даже не разговаривал, в то время как с другими охранниками они общаются нормально. Например недавно готовил есть на общей кухне и услышал как один работник спрашивал про меня у уборщицы, обозвал придурком и спросил кем я работаю, при этом сделал это так чтоб я мог услышать. Хотя мы с ним никогда не общались ь и даже не разговаривали ни разу. На вопрос уборщицы почему он назвал меня придурком, он ответил что я просто ему не нравлюсь. Я работаю всегда в ночь, кроме меня на объекте в это время никого нет. Еще, например когда я иду на смену, навстречу попадаются люди, кого не знаю, не здороваюсь, и мне кажется что этим тоже вызываю у некоторых злость, хотя мне до них нет дела, так же как до того который обозвал придурком. Как то шел на смену, навстречу шли два мужика, и один другому сказал чтоб тот поздоровался со мной, а тот прям заорал в ответ что не будет со мной здороваться, при этом сделал это громко и вроде специально чтоб я услышал. Хотя мне безразлично как бы на этих людей, я их не знаю и не вижу разницы кто там поздаровается а кто нет. Но в последнее время таких случаев стало много, хотелось бы понять почему. Никому ничего плохого я не делал, ни как охранник при исполнении ни еще как то и с этими людьми я встречаюсь может раз в день а может и меньше, просто проходим мимо. Вообще я не очень общительный, может это их раздражает? Выгляжу нормально, слежу за своим внешним видом, внешне ничем особо вроде не выделяюсь. В чем может быть причина?