я думаю, что можно

Все словари, говорят, что можно. Например, https://dictionary.cambridge.org/dictionary/english/not-at-all

https://www.lingvolive.com/ru-ru/translate/en-ru/Not%20at%20all
- здесь почти все примеры именно такие.

yes, you can say NOT AT ALL or NOT IN THE LEAST/SLIGHTEST

Но, судя по примерам, чаще подразумевается "отнюдь, нисколько".
Например, "Don't you mind?. Not at all.", то есть как положительный ответ, а-ля "Да всë нормально, Ничего страшного".

= No, I don’t mind at all.

Are you offended by my story? — Not at all.

Do you speak Russian? — Not at all.

Do you ever wish you were rich? — Not at all.

Have you ever found Jack to be rude? — Not at all.

Is the water cold? — Not at all.

Но, судя по примерам, чаще подразумевается "отнюдь, нисколько". Например, "Don't you mind?. Not at all.", то есть как положительный ответ, а-ля "Да всë нормально, Ничего страшного".

Ну да, нисколько, ни в малейшей степени - почти то же самое, что и ваше "Вообще нет"

Отличающееся значение - это пожалуйста, не стоит благодарности, не за что (в ответ на "спасибо")

Спасибо!))

After thank you, NOT AT ALL means “it was not at all worth mentioning” (=it was my pleasure)