Născut la Castelul Saint-Cloud în 1845, Prinţul Pierre a fost expulzat din Franţa împreună cu familia sa în timpul Revoluţiei.
răsturnarea bunicului său, regele Louis Philippe I, a izbucnit în 1848. Prințul Pierre a avut o copilărie fericită ca refugiat în Anglia cu majoritatea celorlalți membri ai Casei de Orléans, în ciuda incertitudinii vieții în exil. Educația prințului Pierre, a surorii sale și a verișorilor săi a fost supravegheată de tatăl său în Anglia și organizată la început de un tutor. În 1859, Prințul Pierre și vărul său, Prințul Ferdinand, Duce de Alençon, au plecat în Scoția pentru a studia la prestigioasa Royal High School din Edinburgh.