Hann útskrifaðist frá Columbia háskóla með bachelor gráðu árið 1949 og meistara gráðu árið 1950, bæði í stærðfræði, og gekk til liðs við IBM árið 1950. Á fyrstu þremur árum starfaði hann við Selective Sequence Electronic Calculator (SSEC); fyrsta stóra verkefnið hans var að skrifa forrit til að reikna stöður tunglsins. Árið 1953 þróaði Backus tungumálið Speedcoding, fyrsta háskólamálið sem var búið til fyrir IBM tölvu, til að aðstoða við hugbúnaðarþróun fyrir IBM 701 tölvuna. Forritun var mjög erfið á þessum tíma, og árið 1954 tók Backus saman teymi til að þróa og skilgreina Fortran fyrir IBM 704 tölvuna. Fortran var fyrsta háskólamálið sem var notað í breiðum skilningi.
Columbia University með bachelor gráðu árið 1949 og meistara gráðu árið 1950, bæði í stærðfræði