Végül elvesztette a címét 1985-ben Garry Kasparov ellen, akinek az agresszív taktikai stílusa éles ellentétben állt Karpov pozíciós stílusával. Öt, hihetetlenül szoros világbajnoki mérkőzésen küzdöttek egymással.
1984-es Sakk Világbajnoksága (vitatott módon eredmény nélkül zárult, Karpov vezetett +5 −3 =40), 1985-ös Sakk Világbajnoksága (amelyben Kasparov nyerte a címet, 13<unk>11), 1986-os Sakk Világbajnokság (szépen nyerte Kasparov, 121⁄2<unk>111⁄2), 1987-es Sakk Világbajnokság (döntött 12<unk>12, Kasparov megtartotta a címet) és 1990-es Sakk Világbajnokság (újra szorosan nyerte Kasparov, 121⁄2<unk>111⁄2).