У меня растерянность, при нежелаемом разговоре

Мне почему то сложно сосредоточиться и нормально мыслить когда человек задает провокационный вопрос или как то высмеивает меня незаслуженно,

это какая то растерянность, я просто молча выслушиваю думая что он не стоит моих нервов, не хочу конфликтовать, не знаю что ему ответить. И только спустя некоторое время у меня наступает приступ ярости, хочется отомстить, я начинаю обдумывать ситуацию и понимаю как надо было дать ответ, жалею что не сразу дал отпор. Почему при разговоре это не происходит? И стоит ли вообще мне из за этого переживать? ведь нужно за себя постоять. Может стоит как то тренировать коммуникабельность, а я не знаю как.