1979 m. baigusi studijas, Rometty pradėjo dirbti General Motors instituto Detroite, kur buvo atsakinga už programų ir sistemų kūrimą. 1981 m. ji prisijungė prie IBM kaip sistemų analitikė ir sistemų inžinierė Detroite. Iš pradžių dirbo su klientais draudimo pramonėje, jos pirmuosius dešimt metų IBM praleido techninėse pozicijose. "The New York Times" rašo, kad ji "greitai perėjo į vadovavimo pareigas", kur dirbo su klientais draudimo, bankininkystės, telekomunikacijų, gamybos ir sveikatos priežiūros srityse.
1991 m.