Allen szülei Allan Stewart Konigsberg-nek születtek a New York-i Brooklyn kerületben. Ő és nővére, Letty (sz. 1943) a brooklyni Midwoodban nőttek fel. Ő a fia Nettie-nek (született Cherry; 1906. november 8. <unk> 2002. január 27.), könyvelőnek a családi étteremben, és Martin Konigsberg-nek (született Konigsberg december 25. 1900 <unk> 2001. január 8.), ékszerrajzolónak és pincérnek. Családja zsidó volt, nagyszülei Oroszországból és Ausztriából emigráltak az Egyesült Államokba, és jiddis, héber és németül beszéltek.
Martin Konigsberg