Allen werd geboren als Allan Stewart Konigsberg in de wijk Brooklyn in New York City. Hij en zijn zus, Letty (geboren in 1943), groeiden op in Midwood, Brooklyn. Hij is de zoon van Nettie (geboren Cherry; 8 november 1906 <unk> 27 januari 2002), een boekhouder bij de delicatessen van haar familie, en Martin Konigsberg (geboren 25 december 1900 <unk> 8 januari 2001), een sieraden graveur en ober.
Martin Konigsberg