Jest synem Woody'ego Allena (ur. 8 listopada 1906 - 27 stycznia 2002), księgowego w rodzinnym sklepie, i Martina Konigsberga (ur. 25 grudnia 1900 - 8 stycznia 2001), grawerowca biżuterii i kelnera. Jego rodzina była żydowska, a jego dziadkowie wyemigrowali do USA z Rosji i Austrii i mówili jidysz, hebrajski i niemiecki. Obaj rodzice Allena urodzili się i wychowali się na Lower East Side na Manhattanie. Jego dzieciństwo nie było szczęśliwe; jego rodzice nie dogadywali się, a on sam miał kiepski związek ze swoją surową matką, niemiecką.
Wiek 17 lat