Говорить ребёнку об усыновлении, или нет?

Здравствуйте. Мы с мужем 3 года назад усыновили ребёнка. При усыновлении нам было поставлено условие, что мы разрешим ребёнку видеться с родными братьями( живут в приёмной семье). Сейчас нашему ребёнку 5 лет и старшие рассказывают ему о прежних родителях, мы свели все эти общения к минимуму, но я всё равно переживаю. Надо ли рассказать, но я не хочу этого делать. Для нас это родной и самый любимый человечек, и мы его родители. Но городок у нас небольшой и я боюсь, что добрые люди найдутся и расскажут. Мать(биологическая) уже умерла от передозировки, а так называемый отец, в ноябре выходит из тюрьмы. Что нам делать?