După ce s-a mutat la New York, s-a instruit inițial ca tehnician de radio și a devenit interesat de matematică. A absolvit Universitatea Columbia cu o diplomă de licență în 1949 și o diplomă de masterat în 1950, ambele în matematică, și s-a alăturat IBM în 1950. În primii trei ani, a lucrat la Calculatorul electronic cu secvență selectivă (SSEC); primul său proiect major a fost de a scrie un program pentru a calcula pozițiile Lunii. În 1953 Backus a dezvoltat limbajul Speedcoding, primul limbaj de nivel înalt creat pentru un calculator IBM, pentru a ajuta la dezvoltarea de software pentru calculatorul IBM 701.
Universitatea Columbia cu o diplomă de licență în 1949 și o diplomă de masterat în 1950, ambele în matematică