Он ни разу не сказал мне: я тебя люблю

Ждать того, когда у Вашего молодого человека появится ответственность можно всю жизнь.
Многие так и поступают - живут безответственно и при этом себя хорошо чувствуют...
Тем более, что Ваш молодой человек боится ответственности и, в подтверждение этого, не хочет жить с Вами.
У Вас есть выбор:
- оставить все как есть;
- изменить обстоятельства, в которых возникла проблема;
- изменить отношение к обстоятельствам, т.е. - принять их как:
   - необходимую данность;
   - как урок, который необходимо пройти и чему-то научиться;
   - как катализатор внутриличностных ресурсов и возможностей;
   - как нечто позитивное, которое содержится в том, что пока воспринимается как негатив;
- или же изменить что-либо в себе.
Так как изменить поведение Вашего молодого человека невозможно без его на то желания.
Что и как делать, и обращаться ли за помощью к психологу очно - решать Вам.