Ali alizaliwa Bombay, Uingereza India, mwana wa Yusuf Ali Allahbuksh (alikufa 1891), pia anajulikana kama Khan Bahadur Yusuf Ali, Shi'i katika mila ya Dawoodi Bohra, ambaye aligeuka nyuma ya biashara ya jadi ya biashara ya jamii yake na badala yake akawa Inspekta wa Serikali ya Polisi. Baada ya kustaafu kwake alipata jina la Khan Bahadur kwa huduma ya umma. Alipokuwa mtoto Abdullah Yusuf Ali alihudhuria shule ya Anumanjayat Him-ul-Islam na baadaye alisoma katika shule ya mishonari Wilson College, zote mbili huko Bombay. Pia alipata elimu ya kidini na mwishowe aliweza kusoma Kurani nzima kutoka kumbukumbu. Alizungumza Kiarabu na Kiingereza kwa ufasaha. Alikazia juhudi zake kwenye Qur'an na kusoma maoni ya Qur'ani na zile zilizoandikwa katika siku za mwanzo za historia ya Kiislamu. Ali alipata shahada ya kwanza ya Shahada ya Sanaa katika Utamaduni wa Dawoodi Bohra katika jamii yake na badala yake akawa Inspekta wa Polisi wa Serikali (1901-1906). Ali alirudi kutoka Chuo Kikuu cha Uingereza cha Huduma ya Umma na baadaye alipewa nafasi ya
Kiarabu na Kiingereza