Конфликт в коллективе

Не знаю, как реагировать на ситуацию. Работаю в библиотеке и ко мне стал часто заглядывать молодой человек и видно, что я ему понравилась. Но я не реагирую на это, просто делаю свою работу, а на знаки внимания не отвечаю никак, будто их нет. Тем более у меня есть молодой человек, с которым я живу. В очередной раз, когда этот парень пришёл, я рассказала в кабинете коллег просто с целью посмеяться (они все в курсе происходящего, в том числе и парень, он работает с ними в кабинете). Но одна из коллег сказала, что раз такое произошло, то сама дала повод, ведь к другой девушке так не ходят (моего парня при разговоре не было). Я отшутилась, но не сказала, что меня это задело, так как эта женщина ровесница моих родителей. Но на эмоциях я поделилась этим с мамой. Она меня поддержала. Но мама позвонила этой женщине, я об этом намерении не знала (они знакомы, так как мой младший брат учится с ее дочкой в одном классе). А на днях эта женщина очень не лестно говорила на собрании о моем брате. Вот у мамы и взяли эмоции вверх. Естественно потом звонок с разборками мне. А, когда я рассказал парню об этом (до маминого звонка), он про эти слова, что я якобы дала повод ничего не сказал, а спросил о том, сказала ли я, что у меня есть парень. Меня это задело. Естественно, вся эта ситуация будет обсуждаться, тем более, что я работаю в другом кабинете. Но есть ещё нюанс. Меня в этом коллективе не особо воспринимают. У нас крайне разные интересы и из-за общаться не о чем. А они друзья моего парня, и я переживаю, что он может промолчать. Либо встать на их сторону. Не знаю, как реагировать завтра на работе из-за этой канители