Стоит ли сохранять отношения? У меня от него не секретов, а у него получается есть

Добрый день. Сложно писать о происходящем в моей жизни. Мне 25 лет, вот уже 4 года встречаюсь с женатым мужчиной, 1 год живем вместе. В настоящее время официально не разведен. Разница в возрасте 18 лет. Первый брат моего МЧ разрушился, развод он перенес очень болезненно. Основную причину мне сложно назвать, это отношения двух людей, и как правило каждый считает ошибки в поведении другого. Он - не понимание и постоянные проверки со тороны супруги. Она - прежде всего его увленияния девушками и тд. В целом со сторны эту семью многие считали идеальной. Он говорит, что причиной разрыра я ни в какой степени не являюсь, что как бы сильно он не был увлечен, он всегда возвращался в семью. Но в нашем случае этого не получилось. Для меня это первый мужчина, и мои первые и единственные отношения. Все эти 4 года, он был для меня самым близким мне человеком, и другом и подружкой одновременно. Мы понимаем друг друга. Но проблема и все сложности и непонимание возникают, я видимо до конца не доверяю ему. И хотя и понимаю, что знала какой он, о его увлечениях. Но не могу предсьтавить, что он за моей спиной может с кем то еще втречаться. Проблема - телефон. То отключен звук на смс и тд. мне нельзя брать его телефон. У меня от него не секретов, а у него получается есть. Каждый раз какие то ситуации с этим телефоном. И еще, как только начинается разговор, он начинает собираться.Для меня это не приемлимо. Вот на днях я решила уйти, хоят очень не хотела. Собрала вещи, но не смогла. Потому то он дорог мне, но и продолжать отношения я не понимаю как. Возможно нужно решиться. Все это меня мучает. Говорит, что я важна для него. Просит не трогать тему телефона и тд.