Jeho rodina byla židovská a jeho prarodiče se přistěhovali do USA z Ruska a Rakouska a mluvili jidiš, hebrejsky a německy. Oba Allenovi rodiče se narodili a vyrůstali na Lower East Side na Manhattanu. Jeho dětství nebylo šťastné; jeho rodiče se nesouhlasili, a on sám měl striktní vztah se svou matkou, Letty. Allen mluvil v Midwoodu v Brooklynu.
17 let věku