Després de traslladar-se a la ciutat de Nova York es va formar inicialment com a tècnic de ràdio i es va interessar per les matemàtiques. Es va graduar a la Universitat de Colúmbia amb una llicenciatura el 1949 i un màster el 1950, tots dos en matemàtiques, i es va unir a IBM el 1950. Durant els seus tres primers anys, va treballar en la Calculadora Electrònica de Seqüència Selectiva (SSEC); el seu primer gran projecte va ser escriure un programa per calcular les posicions de la Lluna. El 1953 Backus va desenvolupar el llenguatge Speedcoding, el primer llenguatge d'alt nivell creat per a un ordinador IBM, per ajudar en el desenvolupament de programari per a l'ordinador IBM 701. La programació era molt difícil en aquest moment, i el 1954 Backus va reunir un equip per desenvolupar i definir Fortran per a l'ordinador IBM 704.
Universitat de Columbia amb un grau de llicenciat el 1949 i un màster el 1950, ambdós en matemàtiques