Šią sėkmę netrukus sekė tamsus klubo istorijos laikotarpis, kai "Milanas" buvo du kartus nukritęs į Serie B 1980 m. pradžioje. 1980 m. "Milanas" nukrito į trečiąją klasę.
už dalyvavimą 1980 m. Skandoje dėl fiksuotų rungtynių, ir dar kartą užbaigus trečiąją paskutinę 1981-1982 m. Sezonoje, kai tik grįžęs į Serie A praėjusį sezoną, laimėjęs 1980-1981 m. Serie B titulą. Nepaisant to, kad jis buvo Italijos komandos narys, kuri Euro 1980 baigė ketvirtą vietą, ir 1982 m. Pasaulio taurę laimėjusi komanda, Baresi pasirinko likti Milanui, antrą kartą laimėdamas Serie B titulą 1982-1983 sezonui ir sugrąžindamas Milaną į Serie A. Po to, kai Aldo Maldera ir Fulvio Collovati paliko klubą 1982 m., Baresi buvo paskirtas Milan kapitonu, būdamas 22 metų, ir daugelį savo laiko klube išlaikys šią poziciją, tapdamas simboliu ir komandos lyderiu. Per šį liūdną periodą "Milanui" pavyko laimėti "Mitropa" taurę 1982 m. Ir pasiekė Italijos taurės finalą 1984-1985 m. Sezono metu, nors komandai nepavyko dominuoti Serie A.