Skribu daŭrigon por ĉi tiu paragrafo - Tiu sukceso baldaŭ estis sekvita de malhela periodo en la historio de la klubo, kiam Milano estis forigita al Serie B dufoje dum la fruaj 1980-aj jaroj. Milano estis forigita en 1980
por esti implikita en la matĉo aranĝanta skandalo de 1980, kaj denove post finiĝanta tria-lasta en la 1981-82 sezono, post ĵus reveninta al Serie A la antaŭa sezono, post gajnado de la 1980-81 Serie B titolo. Malgraŭ esti membro de la Eŭro 1980 Italio taĉmento kiu finis kvara, kaj la 1982 Monda Pokalo-gajnanta teamo, Baresi elektis resti kun Milano, gajnante la Serie B titolo por la dua fojo dum la 1982-83 sezono kaj alportante Milan reen al Serie A. Post Aldo Maldera kaj Fulvio Collovati forlasis la klubon en 1982, Baresi estis nomumita la kapitano de Milano, en la aĝo de 22, kaj tenus tiun pozicion por multe de lia tempo ĉe la klubo, iĝante simbolo kaj gvidanto por la teamo. Dum ĉi tiu malgaja periodo por Milano, Baresi sukcesis gajni Mitropa Pokalon en 1982 kaj atingis la finalon de la Coppa Italia dum la sezono 1984-85, kvankam la teamo ne regis en Serie A.