Täytä seuraava lause: Tämän menestyksen jälkeen seurasi pian klubin historian synkkä kausi, jolloin Milan pudotettiin Serie B:hen kahdesti 1980-luvun alussa. Milan pudotettiin.
1980 osallistumisestaan ottelujen sovittamiseen vuonna 1980 ja jälleen kerran kolmanneksi viimeisenä vuoden 1981-1982 kaudella, kun hän oli juuri palannut Serie A: han edellisenä kaudella, voitettuaan vuoden 1980-1981 Serie B: n. Vaikka Baresi oli Euro 1980 -ottelussa neljänneksi sijoituneen Italian joukkueen ja vuoden 1982 maailmanmestaruuskilpailun voittaneen joukkueen jäsen, hän päätti jäädä Milanon seuraan, voittaen toisen kerran Serie B -sarjan kaudella 1982-1983 ja palauttaen Milanon Serie A:han. Kun Aldo Maldera ja Fulvio Collovati lähtivät joukkueesta vuonna 1982, Baresi nimitettiin Milanon kapteeniksi 22-vuotiaana, ja hän piti tätä asemaa suurimman osan ajastaan joukkueessa, ja hänestä tuli joukkueen symboli ja johtaja. Baresi onnistui voittamaan Mitropa Cupin vuonna 1982 ja pääsi Coppa Italia -finaaliin kaudella 1984-85, vaikka joukkue ei pystynyt hallitsemaan Serie A: ssa.