Hän valmistui Kolumbian yliopistosta kandidaatin tutkinnolla vuonna 1949 ja maisterin tutkinnolla vuonna 1950, molemmat matematiikassa, ja liittyi IBM:ään vuonna 1950. Ensimmäisten kolmen vuoden aikana hän työskenteli Selective Sequence Electronic Calculatorissa (SSEC); hänen ensimmäinen merkittävä projektinsa oli kirjoittaa ohjelma laskemaan kuun asentoja. Vuonna 1953 Backus kehitti kielen Speedcoding, ensimmäisen IBM-tietokoneelle luodun korkean tason kielen, IBM 701 -tietokoneen ohjelmistokehitykseen. Ohjelmointi oli hyvin vaikeaa tällä hetkellä, ja vuonna 1954 Backus kokoontui tiimiin kehittämään ja määrittelemään Fortran IBM 704 -tietokoneelle. Fortran oli ensimmäinen laaja korkean tason ohjelmointikieli, jota käytettiin.
Hän valmistui Kolumbian yliopistosta vuonna 1949 ja maisteriksi vuonna 1950, molemmat matematiikasta