Муж никуда со мной не ходит

Женаты уже 7 лет. Мне 32, ему 29. Я не скажу что я плохо выгляжу. Немного набрала вес, но это после 3 родов, но не критично. Выгляжу молодо, мужчины обращают внимания, считают меня симпатичной. Вообще конечно он мне своими шуточками сильно понизил самооценку, но в то же время, я стараюсь её сама себе поднимать. В принципе эта проблема была уже раньше. Первые годы совместной жизни, он мог ходить один меня с собой не брал. Теперь у нас уже налаженные отношения, пережили одни семейный кризис, вплоть до развода. Всё у нас вроде хорошо, но есть одна ситуация, которая меня доводит из раза в раз, а я довожу его. Он конечно много работает, и дома времени мало проводит. Приходит вечером когда дети уже спят. Работа не физическая, он сам себе хозяин, может вполне найти время и для нас, как он находит время на футбол, и другие радости. Сам никуда не ходит, раньше бывало ходил с друзьями пиво попить, но редко очень. Теперь меня отпускает без проблем, мол иди куда хочешь, только меня с собой не тащи. У нас не бывает каких то сумасшедших попоек, всё очень культурно. Но вот со мной он категорически отказывается куда ходить. даже элементарно погулять не может. Как быть? хочу разобраться, потому что видно что проблема глубже чем он мне это преподносит. Говорит что ему это не интересно, и ему там(в клубах) нечего делать. Я не верю, потому что если выпадает возможность хоть и редкая сходить с другом посидеть в баре, пусть даже не надолго, он идёт. В общем меня эта ситуация уже достала. Мы живём в маленьком городе где многие нас знают. Мне обидно, что мы с ним вместе нигде не бываем. Он говорит мне всё равно.