Penzias ni a bi ni Munich, Germany, ọmọ ti Justine (née Eisenreich) ati Karl Penzias, ti o ṣe iṣowo awọ. Awọn obi obi rẹ ti wa si Munich lati Polandii ati pe wọn wa ninu awọn oludari ti Reichenbach Strasse Shul. Ni ọdun mẹfa, oun ati arakunrin rẹ Gunther wa laarin awọn ọmọ Juu ti o yọ kuro ni Ilu Gẹẹsi gẹgẹbi apakan ti iṣẹ igbala Kindertransport.
Ilé Ẹ̀kọ́ Gíga ti Brooklyn