Встречаюсь с парнем, он в прошлом сидел

Добрый день. У меня такая проблема. Я познакомилась с парнем, сначала как то дружили, потом переросло все в нечто большее. Встречаемся, все хорошо, устраивает во всем, человек хороший, отношение ко мне хорошее. Он намекает на более серьезные отношения, семья и дети, хотя у меня есть ребенок от первого брака.НО, дело в том, что он в прошлом сидел. И меня как то это смущает, очень.... Я не знаю что делать, вроде хочу быть с ним, но в тоже время его прошло не дает мне покоя. Не знаю как отнесутся мои друзья и родители если узнают, что он сидел. И что делать ума не приложу! Целыми днями думаю об этом. Посоветуйте, как быть?