Heller se narodil 1. května 1923 v Coney Island v Brooklynu v New Yorku, synem chudých židovských rodičů, Leny a Isaaca Donalda Hellera z Ruska. Už jako dítě rád psal; jako teenager napsal příběh o ruské invazi do Finska
a poslal ho do New York "Daily News", který ho odmítl. Po absolvování střední školy Abrahama Lincolna v roce 1941 strávil Heller následující rok jako kovářský učedník, poslíček a archivář.