Я влюбилась в женатого

...сейчас мы вместе, но он почему изменился, стал резким и грубым..

Возможно, его тяготит связь с Вами, но порвать отношения не готов - обе женщины (семья его и Вы) его любите - купается в любви.)

...я не могу без него..

В таком варианте, Вам придется все время быть в роли любовницы. На разрыв отношений с семьей мужчины идут крайне редко . гляньте статистику:

Мужчины:

65% разведенных мужчин повторно женятся в течение ближайших пяти лет, при этом убеждены, что первая жена была лучше  

20% создают новую семью или постоянную пару только через двадцать лет

15% женятся в период от 5 до 10 лет после развода.

Подумайте о том , отчего готовы терпеть грубость и резкость. Прочтите о том, что такое любовная зависимость (см здесь)

Вам есть, о чем подумать.