Нужно проанализировать, что именно раздражает в данном человеке.

Вполне возможно, что эта черта присутствует в Вашем характере, и Вы хотели бы от нее избавиться. Вот и раздражает ее присутствие в другом человеке