Его прошлое не дает покоя

Здравствуйте,у меня такая проблема.Встречаюсь с молодым человеком почти год.Он меня старше на 5 лет.У нас не всё гладко,но самое что мне сейчас хотелось бы выяснить всё-таки есть.Вобщем ,он знает о моём прошлом,совсем недавно я узнала о его. И если честно ,я пожалела что вообще его узнала. Он мне заявил что у него было больше 100 партнёрш в плане секса.Но тем не менее он меня упрекает тем,что у меня в плане секса до него был ОДИН парень.Он мне постоянно говорит как он жалеет,что раньше не встретил меня,и т.д.Когда я про его прошлое что нибудь спрошу или скажу,он переходит на моё,и в итоге я виноватой оказываюсь.Я не знаю как это понимать.То ли это как защита у него такая,то ли его правда это так сильно цепляет.Подскажите как быть.