McCarver belde voor ABC als vervanger van Howard Cosell. Cosell was helemaal uit de uitzendingen verwijderd nadat uittreksels uit zijn controversiële boek "I Never Played the Game" (die kritisch was tegenover Cosells collega's bij ABC Sports) in "TV Guide" verschenen. Misschien was McCarvers meest opmerkelijke opdracht voor ABC voor de World Series van 1985 als veldverslaggever voor de
1984 National League Championship Series.