Heller urodził się 1 maja 1923 roku na Coney Island w Brooklynie w stanie Nowy Jork, w rodzinie biednych Żydów, Leny i Isaaca Donalda Hellerów z Rosji. Już jako dziecko uwielbiał pisać; jako nastolatek napisał opowieść o rosyjskiej inwazji na Finlandię
i wysłał go do New York Daily News, który go odrzucił. Po ukończeniu Abraham Lincoln High School w 1941 roku, Heller spędził następny rok pracując jako uczeń kowala, kurier i urzędnik archiwizacyjny.