Я был (такой) занозой у тебя в заднице.

Я был (таким) бельмом у тебя на глазу.

thorn - раздражающий/проблематичный человек или вещь. Более дословно thorn in your side можел перевести как "колючка в боку"