Peter Selz syntyi Münchenissä juutalaisille vanhemmille. Vuonna 1936, 17-vuotiaana, hän pakeni natsi-Saksasta, koska hänen vanhempansa halusivat lähettää hänet opiskelemaan Yhdysvaltoihin. Hänen perheensä onnistui pakenemaan Saksasta juuri ennen rikkinäisen lasin yötä.
Hänen isänsä oli hoitanut häntä ilmaiseksi. Hän vietti vuoden Columbian yliopistossa ja huomasi, että hän oli kaukainen sukulainen Alfred Stieglitzille, josta tuli hänen mentori. Palveltuaan toisen maailmansodan jälkeen hän sai Chicagon yliopistosta AM: n GI Billissä vuonna 1949. Seuraavina vuosina hän sai useita Fulbrightin apurahoja opiskellakseen Pariisin yliopistossa ja École du Louvressa sekä Musées Royaux d'Art et d'Histoire -museoissa. Samaan aikaan Selz opetti Chicagon yliopistossa ja johti myös Chicagon Illinoisin teknologian instituutin suunnitteluinstituutin opetuslaitosta. Vuonna 1955 hän muutti Pomona Collegelle johtamaan taideosastoa ja toimimaan koulun taidegallerian johtajana.