Что-то я с трудом представляю контекст для такой фразы...

I imagined someone on a call waiting for you to find something to write with/on so they can give you their number, and when you find it, you say “Ok, I’m ready to take down your number”

in this case I'd expect его/it, not 'твой номер телефона'

I don’t know... I’ve had situations where I’ve had to put down the phone, look for paper, and I come back and say “Ok! I’m ready to take down your number whenever you’re ready”

It’s also common to say THAT number in this context.

https://www.google.com/search?biw=1386&bih=1011&sxsrf=ALeKk03OQrpy8-XZNxeGbsQiIcJsc6RL4g%3A1588350456479&ei=-E2sXprfHILwsQX2r5XYAQ&q=%22ready+to+take+down+your+number%22&oq=%22ready+to+take+down+your+number%22&gs_lcp=CgZwc3ktYWIQAzoHCCMQrgIQJ1DAggFY0YUBYOaGAWgBcAB4AIABkAGIAcEFkgEDMC42mAEAoAEBqgEHZ3dzLXdpeg&sclient=psy-ab&ved=0ahUKEwiau_LFipPpAhUCeKwKHfZXBRsQ4dUDCAs&uact=5

В этоих примерах - "готовЫЙ", а не "готов"

Да, пожалуй, единственный контекст это когда об этом уже шла речь и после долгого перерыва я звоню, чтобы, наконец, записать этот номер.

Exactly