După absolvire în 1979, Rometty a lucrat pentru General Motors Institute în Detroit, unde a fost responsabilă pentru dezvoltarea de aplicații și sisteme. În 1981 s-a alăturat IBM ca analist de sisteme și inginer de sisteme în Detroit. La început a lucrat cu clienți din industria de asigurări, și-a petrecut primii zece ani la IBM în poziții tehnice. New York Times scrie că ea "a trecut rapid la o serie de locuri de muncă de management", unde a lucrat cu clienți în asigurări, bancă, telecomunicații, producție și asistență medicală.
1991 (cu excepţia