Ezt a sikert hamarosan egy sötét időszak követte a klub történelmében, amikor a Milánt kétszer is leeresztették a Serie B-be az 1980-as évek elején. A Milánót leeresztették.
1980-ban, miután részt vett a 1980-as mérkőzés-szervezési botrányban, és ismét az 1981/1982-es szezon harmadik-utolsó helyezése után, miután az előző szezonban visszatért a Serie A-ba, miután megnyerte az 1980/81-es Serie B címet. Annak ellenére, hogy tagja volt az 1980-as Európa-bajnokságon negyedik helyen végzett olasz csapatnak, és az 1982-es világbajnokság győztese volt, Baresi úgy döntött, hogy a Milánóban marad, a 1982/83-as szezonban másodszor nyerte meg a B-Serie címet, és visszahozta a Milánt a Serie A-ba. Miután Aldo Maldera és Fulvio Collovati elhagyta a klubot 1982-ben, Baresi-t 22 évesen Milánó kapitányává nevezték ki, és ezt a pozíciót a klubban töltött idő nagy részében tartotta, szimbólum és vezetővé vált a csapat számára. Ebben a sötét időszakban a Milánónak sikerült megnyernie a Mitropa Kupát 1982-ben, és eljutott a Coppa Italia döntőjéhez az 1984/85-ös szezonban, bár a csapat nem uralkodott az A-sorozatban.