Miután az Inter nagy érdeklődésre talált, 1979 közepén Ancelotti átment a Romába, és szeptember 16-án az AC Milan ellen 0:0-os döntetlenben debütált a Serie A-ban. Nils Liedholm menedzser alatt szárnyas vagy központi középlabda játékosként szerepelt, és a klub egyik legfontosabb játékosává vált egy olyan csapatban, amely olyan brazil sztár középlabda játékosokat, mint Falcão és Toninho Cerezo, valamint olasz labdarúgókat, mint Roberto Pruzzo, Bruno Conti, Agostino Di Bartolomei és Pietro Vierchowod, azonnal nyerte a Coppa Italia címeket az első két szezonban a klubban. Nyolc szezon alatt a klubban összesen négyszer nyerte meg az olasz kupát (1980, 1981, 1984 és 1986). A térd sérüléseivel küzdött, és a második és harmadik helyen végzett a ligában 1981-ben.
1983-ban Ancelotti segített a csapatnak történelmi olasz bajnokságot nyerni 1983-ban, a klub második bajnoki címét a történelmükben. A következő szezonban még a Romának is segített, hogy megnyerje a Coppa Italia címet, és elérje az 1984-es Európa-kupa döntőjét, bár sérülés miatt kihagyta a döntőt, mivel a Rómát a római Stadio Olimpico-ban a Liverpool győzte el büntetőmeccsen. 1985-ben Sven-Göran Eriksson új klubmenedzsere alatt nevezték ki a csapat kapitányává, és mentorként szolgált a fiatal középlabda játékos Giuseppe Giannini számára, mivel a Roma megnyerte a Coppa Italia-t, de ismét szorosan kihagyta a bajnoki címet az 1985/86 Serie A szezonban, második helyen végzett a Juventus mögött.