Heller sa narodil 1. mája 1923 v Coney Island v Brooklyne v New Yorku, synom chudobných židovských rodičov, Leny a Isaaca Donalda Hellera z Ruska. Už ako dieťa miloval písanie; ako teenager napísal príbeh o ruskej invázii do Fínska
a poslal ju do New York "Daily News", ktorý ju odmietol. Po ukončení strednej školy Abrahama Lincolna v roku 1941 strávil Heller nasledujúci rok prácou ako kováčsky učenec, poslíček a úradník.