Hänen vanhempansa kuolivat vuonna 1999 Auschwitzin keskitysleirillä. Portmanin isovanhemmat ovat syntyneet Portmanin ja Avner Hershlagin, israelilaisen hedelmällisyysasiantuntijan ja gynekologin, ainoat lapset. Hänen äidin vanhemmat, Bernice (syntynyt Hurwitz) ja Arthur Stevens (joka oli alun perin sukunimi Edelstein), olivat itävaltalaisista perheistä, jotka muuttivat Yhdysvaltoihin Itävallasta ja Venäjältä. Portmanin isovanhemmat, Mania (syntynyt Portman) ja Yehuda Hershlag Zvi, olivat juutalaisia maahanmuuttajia Israeliin.
Vuosi 1981