Ancelotti uralkodása alatt a Milan is megnyerte a
2004-es olasz szuperkupa, és 2004-ben és 2005-ben is a Juventus második helyezettje volt a Serie A-ban (mindkét "Scudetti" később törölték a Juventus rekordkönyveiből a klub "Calciopoli" botrányba való bevonása miatt). A 2004/05-ös szezonban Ancelotti vezette a Milant a 2005-ös Bajnokok Ligájának döntőjére is, ahol 2-3-ra vesztettek a Liverpool ellen a büntetőmérkőzésen, miután 3-3-ra nyertek a normál időben. A Coppa Italia-ban a csapat képtelen volt túllépni a negyeddöntőn. A következő szezonban a Milánó ismét csalódással nézett szembe, mivel a Bajnokok Ligája félfináléjában Barcelona ellen veszített, és csak a Coppa Italia negyeddöntőjébe jutott.