Aquest èxit va ser aviat seguit per un període fosc en la història del club, quan el Milan va ser relegat a la Serie B dues vegades durant la dècada de 1980. El Milan va ser relegat el 1980
per haver estat implicat en l'escàndol d'arreglament de partits de 1980, i una vegada més després d'acabar tercer últim en la temporada 1981-82, després d'haver tornat a la Serie A la temporada anterior, després de guanyar el títol de la Serie B 1980-81. Tot i ser membre de l'equip italià de l'Euro 1980 que havia acabat quart, i de l'equip guanyador de la Copa del Món de 1982, Baresi va optar per quedar-se amb el Milan, guanyant el títol de la Serie B per segona vegada durant la temporada 1982-83 i portant el Milan de nou a la Serie A. Després d'Aldo Maldera i Fulvio Collovati van deixar el club el 1982, Baresi va ser nomenat capità del Milan, als 22 anys, i mantindria aquesta posició durant gran part del seu temps al club, convertint-se en un símbol i un líder per a l'equip. Durant aquest període sombre per al Milan, Baresi va aconseguir guanyar una Mitropa Cup el 1982 i va arribar a la final de la Coppa Italia durant la temporada 1984-85, tot i que l'equip no va poder dominar la Serie A.