Az első három évében a szelektív szekvenciás elektronikus számológépen (SSEC) dolgozott; első nagy projektje a Hold pozícióinak kiszámítására szolgáló program megírása volt. 1953-ban Backus kifejlesztette a Speedcoding nyelvet, az első IBM számítógép számára létrehozott magas szintű nyelvet, hogy segítsen az IBM 701 számítógép szoftverfejlesztésében. A programozás nagyon nehéz volt ebben az időben, és 1954-ben Backus összeállított egy csapatot az IBM 704 számítógéphez való Fortran fejlesztésére és meghatározására. A Fortran volt az első magas szintű programozási nyelv, amelyet széles körben használtak.
A Columbia Egyetemen 1949-ben diplomázott és 1950-ben mesterképzést szerzett, mindkettő matematikából.