Després de graduar-se el 1979, Rometty va anar a treballar per al General Motors Institute a Detroit, on va ser responsable del desenvolupament d'aplicacions i sistemes. El 1981 es va unir a IBM com a analista de sistemes i enginyer de sistemes a Detroit.
El 1991