Penzias syntyi Münchenissä, Saksassa, Justine (syntymäaika Eisenreich) ja Karl Penziasin poikana, joka johti nahkokauppaa. Hänen isovanhempansa olivat tulleet Münchenille Puolasta ja olivat Reichenbach Strasse Shulin johtajia. Kuuden vuoden ikäisenä hän ja hänen veljensä Gunther olivat juutalaisten lasten joukossa, jotka evakuoitiin Britanniaan osana Kindertransportin pelastustoimintaa. Jonkin aikaa myöhemmin hänen vanhempansa pakenivat myös Natsi-Saksasta Yhdysvaltoihin, ja perhe asettui asumaan New Yorkin Garment District -alueelle vuonna 1940.
Brooklynin tekninen lukio