Ali syntyi Bombayssa, Brittiläisessä Intiassa, Yusuf Ali Allahbukshin (kuolema 1891) poikana, joka tunnettiin myös nimellä Khan Bahadur Yusuf Ali, Dawoodi Bohra -perinteessä shi'i, joka käänsi selkänsä yhteisönsä perinteiselle liiketoimintaan perustuvalle ammatille ja sen sijaan tuli poliisin hallituksen tarkastajaksi. Eläkkeelle jäätyään hän sai nimityksen Khan Bahadur julkisen palvelun vuoksi. Lapsena Abdullah Yusuf Ali kävi Anumanjayat Him-ul-Islam -koulussa ja opiskeli myöhemmin lähetyskoulussa Wilson College, molemmat Bombayssa. Hän sai myös uskonnollisen koulutuksen ja lopulta pystyi lausumaan koko Koraanin muistiin. Hän puhui sekä arabiaa että englantia sujuvasti. Hän keskittyi Koraaniin ja opiskeli Koraanin kommentaareja, jotka kirjoitettiin islamin historian alkuaikoina.
Arabia ja englanti