Dušan A. Popović syntyi Volujakin kylässä (nykyään osa Dragovoa) Levač-alueella. Hänen isänsä Aleksa Popović, joka oli alun perin Vojvodinasta, jäi orvoksi Unkarin vallankumouksen aikana.
Avakumović-perhe adoptoi hänet kolmevuotiaana Belgradissa vuonna 1848. Hänestä tuli opettaja, ja hän opetti useissa paikoissa, Volujakissa Dušanin syntymän aikaan. Dušan oli Aleksa ja Jevica (Mileva) Popovićin seitsemäs lapsi.