Allen és a húga, Letty (született 1943) a brooklyni Midwoodban nőttek fel. Ő a fia Woody Nettie-nek (született Cherry; 1906. november 8. <unk> 2002. január 27.), könyvelőnek a családi étteremben, és Martin Konigsbergnek (született 1900 december 25. <unk> 2001. január 8.), ékszerrajzolónak és pincérnek. Családja zsidó volt, és nagyszülei Oroszországból és Ausztriából emigráltak az Egyesült Államokba, és jiddis, héber és németül beszéltek. Allen szülei mindketten a Manhattan alsó-keleti részén születtek és nőttek fel. Szülei nem voltak boldogok; szülei nem jöttek ki egymással, és szoros kapcsolatban volt szűk anyjával, a német nyelvű Allen.
17 éves