Setelah menarik minat yang kuat dari Inter Milan, pada pertengahan 1979, Ancelotti pindah ke Roma, dan membuat debut Serie A-nya dalam hasil imbang 0-0 melawan AC Milan pada 16 September. Di bawah manajer Nils Liedholm, ia digunakan sebagai pemain sayap atau gelandang tengah dan menjadi salah satu pemain terpenting klub di tim yang menampilkan pemain bintang Brasil Falcão dan Toninho Cerezo, serta pemain sepak bola Italia Roberto Pruzzo, Bruno Conti, Agostino Di Bartolomei, dan Pietro Vierchowod, segera memenangkan gelar Coppa Italia berturut-turut dalam dua musim pertamanya dengan klub. Selama delapan musim di klub, ia memenangkan Coppa Italia sebanyak empat kali (1980, 1981, 1984, dan 1986). Setelah berjuang dengan cedera lutut, dan mengelola kedua dan ketiga liga selesai di tahun 1981
dan 1982, Ancelotti membantu memimpin tim untuk memenangkan kejuaraan Italia yang bersejarah pada tahun 1983, gelar liga kedua klub dalam sejarah mereka. Pada musim berikutnya, ia bahkan membantu Roma memenangkan gelar Coppa Italia lainnya dan mencapai final Piala Eropa pada tahun 1984, meskipun melewatkan final karena cedera karena Roma dikalahkan oleh Liverpool pada babak penalti di Stadio Olimpico di Roma. Dia dinobatkan sebagai kapten tim pada tahun 1985 di bawah manajer klub baru Sven-Göran Eriksson, dan menjadi mentor bagi gelandang muda Giuseppe Giannini, saat Roma memenangkan Coppa Italia, tetapi sekali lagi kalah tipis dari gelar liga selama musim 1985-86 Serie A, finis di tempat kedua di belakang Juventus.