Heller werd geboren op 1 mei 1923 in Coney Island in Brooklyn, New York, als zoon van arme Joodse ouders, Lena en Isaac Donald Heller, uit Rusland. Al als kind schreef hij graag; als tiener schreef hij een verhaal over de Russische invasie van Finland
en stuurde het naar de New York "Daily News", die het verwierp. Na zijn afstuderen aan de Abraham Lincoln High School in 1941, werkte Heller het volgende jaar als leerling smid, koeriersjongen en archiefbediende.