Jis baigė Kolumbijos universitetą 1949 m. bakalauro laipsniu ir 1950 m. magistro laipsniu, abu matematikos srityje, ir 1950 m. stojo į IBM. Pirmuosius trejus metus jis dirbo su "Selective Sequence Electronic Calculator" (SSEC); jo pirmasis didelis projektas buvo parašyti programą, kuri apskaičiuotų Mėnulio pozicijas. 1953 m. Backus sukūrė kalbą Speedcoding, pirmą aukštos klasės kalbą, sukurtą IBM kompiuteriui, kad padėtų kurti programinę įrangą IBM 701 kompiuteriui. Programavimas tuo metu buvo labai sunkus, o 1954 m. Backus surinko komandą, kuri sukūrė ir apibrėžė "Fortran" IBM 704 kompiuteriui. "Fortran" buvo pirmoji plačiai naudojama aukšto lygio programavimo kalba.
Kolumbijos universitete 1949 m. bakalauro laipsnį ir 1950 m. magistro laipsnį, abu matematikos