Po rozvode rodičov v roku 1976 žila Jolie a jej brat s matkou, ktorá opustila herecké ambície, aby sa sústredila na výchovu svojich detí. Matka ju vychovala ako katolíčku, ale nevyžadovala, aby chodila do kostola. Ako dieťa často sledovala filmy so svojou matkou a to bolo skôr ako úspešná kariéra jej otca, čo inšpirovalo jej záujem o herectvo, aj keď vo veku piatich rokov mala malú úlohu vo Voightovej Lookin' to Get Out (1982). Keď mala Jolie šesť rokov, Bertrand a jej partner, filmár Bill Day, presťahovali rodinu do Palisades v New Yorku; o päť rokov neskôr sa vrátili do Los Angeles.
Palisády