אלן נולד אלן סטיוארט קוניגסברג במחוז ברוקלין של העיר ניו יורק. הוא ואחותו, לטי (נולדה ב-1943), גדלו במיידווד, ברוקלין. הוא בנו של וודי אלן (נולד ב-8 בנובמבר 1906 - נולד ב-27 בינואר 2002), מנהל ספרים בחנות המנות של משפחתה, ומרטין קוניגסברג (נולד ב-25 בדצמבר 1900 - נולד ב-8 בינואר 2001), חוקר תכשיטים ומלצר. משפחתו הייתה יהודית, וסביו והסבא שלו היגרו לארצות הברית מרוסיה ואוסטריה ודיברו יידיש, עברית וגרמנית. שני הוריו של אלן נולדו וגדלו במזרח התחתון של מנהטן. ילדותו לא הייתה מאושרת; הוריו לא הסתדרו, והייתה לו מערכת יחסים קשוחה עם אמו החרירה, אלן די דיבר גרמנית. הוא גדל במיידווד, ברוקלין, בראשית שנותיו.
גיל 17