Penzias Münchenben született, Justine és Karl Penzias fia, akik egy bőrüzletet üzemeltettek. Nagyszülei Lengyelországból érkeztek Münchenbe, és a Reichenbach Strasse Shul vezetői közé tartoztak. Hat évesen ő és testvére, Gunther a Kindertransport mentési művelet részeként Nagy-Britanniába evakuált zsidó gyermekek közé tartoztak. Néhány évvel később szülei is elmenekültek a náci Németországból az Egyesült Államokba, és a család 1940-ben New York Garment kerületében telepedett le. 1946-ban Penzias az Egyesült Államok állampolgára lett. 1951-ben végzett a Brooklyn Technical High School-ban, és miután vegyészetet tanult a New York City College-ban, szakokat váltott, és 1954-ben fizikával végzett, osztályának legmagasabb rangúja.
Brooklyn Műszaki Középiskola