Penzias lahir di Munich, Jerman, anak dari Justine (née Eisenreich) dan Karl Penzias, yang menjalankan bisnis kulit. Kakek-neneknya datang ke Munich dari Polandia dan merupakan salah satu pemimpin Reichenbach Strasse Shul. Pada usia enam tahun, ia dan saudaranya Gunther adalah salah satu anak-anak Yahudi yang dievakuasi ke Inggris sebagai bagian dari operasi penyelamatan Kindertransport. Beberapa waktu kemudian, orang tuanya juga melarikan diri dari Nazi Jerman ke AS, dan keluarga tersebut menetap di Garment District di New York City pada tahun 1940.
Sekolah Tinggi Teknik Brooklyn