Penzias var fæddur í München í Þýskalandi, sonur Justine (föddur Eisenreich) og Karl Penzias, sem rak leðurfyrirtæki. Afi hans og amma voru komnir til München frá Póllandi og voru meðal leiðtoga Reichenbach Strasse Shul. Þegar hann var sex ára gamall voru hann og bróðir hans Gunther meðal gyðinga barna sem voru fluttir til Bretlands sem hluti af Kindertransport björgunaraðgerðinni. Nokkru síðar flúðu foreldrar hans einnig frá Nasista Þýskalandi til Bandaríkjanna og fjölskyldan settist að í Garment District í New York árið 1940.
Tækniskólinn í Brooklyn