boss - думаю, это скорее "начальник", которому ты подчиняешься.
"авторитет" - это человек, чье мнение ты уважаешь, мнению которого ты доверяешь

That’s a fixed expression that you say to anybody who is trying to tell you what to do or give you commands. It’s not literally your boss. 

 https://www.phrases.org.uk/bulletin_board/61/messages/631.html

все равно, IMO, смысл другой (если, конечно, это слово в русском использовано правильно)
https://bempc.com/blog/kto-dlya-nas-avtoritet/

https://ru.wikipedia.org/wiki/Авторитет
влияние какого-либо лица, основанное на занимаемом им положении, должности, статусе и так далее, побуждающее уважение к лицу, основанное на его выдающейся и признанной мудрости, знаниях, нравственных достоинствах, жизненном опыте.

https://www.ogirk.ru/2020/10/14/ilja-sumarokov-papa-dlja-menja-avtoritet/

ты не мой авторитет

правильнее сказать "ты не являешься для меня авторитетом"

Правда, есть еще "автороитеты" в преступном мире
Это, на самом деле, своего рода большие властные фигуры.