Ivanovic var fædd í Belgrad, SFR Jugoslavia. Móðir hennar, Dragana, lögfræðingur, hefur verið á kantinum á flestum leikjum hennar. Faðir hennar, Miroslav, sjálfstætt starfandi atvinnumaður, sótti eins marga viðburði og hann gat mögulega. Ivanovic hefur yngri bróður, Miloš, sem hún elskaði að spila körfubolta. Ivanovic tók fyrst upp rakett á fimm ára aldri eftir að hafa horft á Monica Seles, Jugoslav, í sjónvarpi. Hún byrjaði feril sinn eftir að hafa munað símanúmer á staðbundinni tennisklíníku frá auglýsingu.
lest