Peter Selz gimė Miunchene žydų šeimoje. 1936-aisiais, būdamas 17 metų, jis pabėgo iš nacistinės Vokietijos, nes tėvai norėjo išsiųsti jį studijuoti į Jungtines Valstijas. Jo šeimai pavyko pabėgti iš Vokietijos prieš "Slūdinto stiklo naktį"
, su kai kurių vienuolių pagalba, kuriuos jo optometras tėvas gydė nemokamai. Vienus metus jis mokėsi Kolumbijos universitete ir suprato, kad yra tolimas Alfred Stieglitz'o giminis, kuris tapo jo mentoru. Po Antrojo pasaulinio karo jis 1949 m. gavo Čikagos universiteto magistro laipsnį. Vėliau jis gavo keletą Fulbriht stipendijų, kad galėtų studijuoti Paryžiaus universitete ir Ecole du Louvre, taip pat Karališkuose meno ir istorijos muziejuose. Tuo pačiu metu Selzas dėstė Čikagos universitete ir vadovavo švietimo skyriui Ilinojaus technologijos instituto dizaino institute Čikagoje. 1955 m. jis persikėlė į Pomonos koledžą, kur dirbo meno katedros pirmininku ir mokyklos meno galerijos direktoriumi.