Не понимаю поведение мужчины

Здравствуйте. Мне 33 года. я работаю бухгалтером. Я не замужем, вдова, воспитываю сына. Года 2 назад, у меня были отношения с мужчиной, коллегой так сказать. Он мне давно нравится, привлекает как мужчина. Он старше меня лет на 10 примерно. Я и не думала, что у нас дойдет до более близких отношений. Так все неожиданно получилось в один вечер. Но это не долго длилось. Потом получилось так, что он ушел с нашей работы. И вот через полтора года он возвращается. и тут началось, с первого дня. Он постоянно меня достает. . Молчу, не нравится, что молчу, улыбнусь, на это тоже сделает замечание. не улыбаюсь, тоже все замечает и говорит это все при всех. И так каждый день. Нас в кабинете четверо, девушки, женщины и у него только до меня есть дело. И все по-мелочи замечает, куда, где, во сколько я была, такое чувство, что следит за мной. Все это как-бы в шуточной форме, прикалывается так сказать. Но когда едем по-делам, он другой, он серьезный, молчит. И я боюсь с ним разговаривать, думаю не так поймет, скажет ты что, дурочка. Я новерное скоро с ума сойду от этого. Может он кого-то тоже так донимает, но не знаю. Я не понимаю его поведения, но не хочу и не могу с ним поговорить. Вроде б я уже не глупая девочка, но вот ступор какой-то по отношению к нему.Помогите, мне, прошу.