Tämän menestyksen jälkeen seurasi pian klubin historian synkkä kausi, jolloin Milan pudotettiin Serie B:hen kahdesti 1980-luvun alussa. Milan syrjäytettiin vuonna 1980.
Vuoden 1980 ottelun sovittelujuttuun osallistumisesta ja jälleen kerran vuoden 1981-82 kauden kolmanneksi viimeisen sijan jälkeen, kun hän oli juuri palannut Serie A: han edellisenä kaudella, voittamalla 1980-81 Serie B -tittelin. Vaikka Baresi oli Euro 1980 -ottelussa neljänneksi sijoituneen Italian joukkueen ja vuoden 1982 maailmanmestaruuskilpailun voittaneen joukkueen jäsen, hän päätti jäädä Milanon seuraan, voittaen toisen kerran Serie B -sarjan kaudella 1982-1983 ja palauttaen Milanon Serie A:han. Kun Aldo Maldera ja Fulvio Collovati lähtivät joukkueesta vuonna 1982, Baresi nimitettiin Milanon kapteeniksi 22-vuotiaana, ja hän piti tätä asemaa suurimman osan ajastaan joukkueessa, ja hänestä tuli joukkueen symboli ja johtaja. Baresi onnistui voittamaan Mitropa Cupin vuonna 1982 ja pääsi Coppa Italia -finaaliin kaudella 1984-85, vaikka joukkue ei pystynyt hallitsemaan Serie A: ssa.