Syntynyt Château de Saint-Cloudissa vuonna 1845, prinssi Pierre karkotettiin perheineen Ranskassa vallankumouksen aikaan.
Hänen isoisänsä kuningas Ludvig Filippi I:n vallankaappaus alkoi vuonna 1848. Prinssi Pierrellä oli onnellinen lapsuus pakolaisena Englannissa useimpien muiden Orléanin talon jäsenten kanssa, huolimatta maanpaossa elämisen epävarmuudesta. Prinssi Pierren, hänen sisarensa ja serkkujensa koulutusta valvoi hänen isänsä Englannissa ja järjestänyt aluksi opettaja. Vuonna 1859 prinssi Pierre ja hänen serkkunsa prinssi Ferdinand, Alençonin herttua, lähtivät Skotlantiin opiskelemaan arvostetussa Royal High Schoolissa Edinburghissa.