Ambedkar syntyi 14. huhtikuuta 1891 Mhow'n (nykyään Dr. Ambedkar Nagar) kaupungissa ja sotilaallisessa leirintäalueella Keski-Provinssissa (nykyään Madhya Pradeshissa). Hän oli subedar-arvoinen armeijan upseeri Ramji Maloji Sakpalin ja Laxmanbad Murkarin tytär Bhimabai Sakpalin 14. ja viimeinen lapsi. Hänen perheensä oli marathi-taustainen kaupungin Ambadawe'sta (Mandangad taluka) nykypäivän Maharashtran Ratnagiri-alueella. Ambedkar syntyi köyhään matalaan maharlit (dalit) kastiin, jota kohdeltiin koskemattomiksi ja joutui sosioekonomiseen syrjintään. Ambedkarin esi-isät olivat pitkään työskennelleet Brittiläisen Itä-Intian yhtiön armeijassa, ja hänen isänsä palveli Brittiläisen intialaisen armeijan Mhow'n leirintäalueella.
Subedar