Eftir útskrift árið 1979 fór Rometty að vinna hjá General Motors Institute í Detroit, þar sem hún var ábyrg fyrir forritun og kerfisþróun. Árið 1981 gekk hún til liðs við IBM sem kerfisgreiningarmaður og kerfisverkfræðingur í Detroit. Upphaflega starfaði hún með viðskiptavinum í vátryggingageiranum og eyddi fyrstu tíu árum sínum hjá IBM í tæknilegum stöðum. The New York Times skrifar að hún "flutti fljótt upp í röð stjórnunarstarfa", þar sem hún vann með viðskiptavinum í vátryggingum, banka-, fjarskipta-, framleiðslu- og heilbrigðisþjónustu. Hún vann á níunda áratugnum í sölu og í lok níunda áratugarins var að hjálpa viðskiptavinum eins og Prudential Financial, Inc. með internet eiginleika þeirra. Hún gekk til liðs við ráðgjafarhópa IBM árið 1991.
Árið 1991