Li estas la filo de Nettie (née Cherry; la 8-an de novembro 1906 <unk> la 27-an de januaro 2002), librotenisto ĉe la delikata butiko de ŝia familio, kaj Martin Konigsberg (la 25-an de decembro 1900 <unk> la 8-an de januaro 2001), juvelgravisto kaj kelnero. Lia familio estis juda, kaj liaj geavoj enmigris al Usono de Rusio kaj Aŭstrio kaj parolis la jidan, la hebrean kaj la germanan. Ambaŭ gepatroj de Allen naskiĝis kaj kreskis en la Malsupra Oriento de Manhatano. Lia infanaĝo ne estis feliĉa; liaj gepatroj ne harmoniis, kaj li havis malbonan rilaton kun sia severa patrino, la germana.
aĝo 17