Penzias an haife shi ne a Munich, Jamus, ɗan Justine (née Eisenreich) da Karl Penzias, wanda ke gudanar da kasuwancin fata. Kakanninsa sun zo Munich daga Poland kuma suna cikin shugabannin Reichenbach Strasse Shul. A lokacin da yake da shekaru shida, shi da ɗan'uwansa Gunther suna cikin 'yan Yahudawa da aka kwashe zuwa Birtaniya a matsayin wani ɓangare na aikin ceto na Kindertransport.
Makarantar Fasaha ta Brooklyn