Jest synem Nettie (ur. 8 listopada 1906 r. <unk> 27 stycznia 2002 r.), księgowej w rodzinnym sklepie, i Martina Konigsberga (ur. 25 grudnia 1900 r. <unk> 8 stycznia 2001 r.), grawerowca biżuterii i kelnera. Jego rodzina była żydowska, a jego dziadkowie wyemigrowali do USA z Rosji i Austrii i mówili jidysz, hebrajski i niemiecki.
Martin Konigsberg