Setelah lulus pada tahun 1979, Rometty bekerja untuk General Motors Institute di Detroit, di mana dia bertanggung jawab untuk pengembangan aplikasi dan sistem. Pada tahun 1981 dia bergabung dengan IBM sebagai analis sistem dan insinyur sistem di Detroit. Awalnya bekerja dengan klien di industri asuransi, dia menghabiskan sepuluh tahun pertamanya di IBM di posisi teknis. New York Times menulis bahwa dia "cepat pindah ke serangkaian pekerjaan manajemen", di mana dia bekerja dengan klien di asuransi, perbankan, telekomunikasi, manufaktur dan perawatan kesehatan. Dia menghabiskan tahun 1990-an bekerja di bidang penjualan, dan pada akhir 1990-an membantu klien seperti Prudential Financial, Inc. dengan fitur internet mereka. Dia bergabung dengan IBM's Consulting Group pada tahun 1991.
Tahun 1991