Penzias naceu en Múnic, Alemaña, fillo de Justine (née Eisenreich) e Karl Penzias, que dirixía un negocio de coiro. Os seus avós chegaron a Múnic desde Polonia e estaban entre os líderes do Reichenbach Strasse Shul. Aos seis anos, el e o seu irmán Gunther estaban entre os nenos xudeus evacuados a Gran Bretaña como parte da operación de rescate Kindertransport. Algún tempo despois, os seus pais tamén fuxiron da Alemaña nazi para os Estados Unidos, e a familia establecéronse no Distrito Garment da cidade de Nova York en 1940.
Liceo Técnico de Brooklyn