Végül elvesztette a címét 1985-ben Garry Kasparov ellen, akinek agresszív taktikai stílusa éles ellentétben állt Karpov pozíciós stílusával. Öt, hihetetlenül szoros világbajnoki mérkőzésen küzdöttek egymás ellen, az 1984-es világbajnokságon.
(a vita eredmény nélkül végződött, Karpov vezetett +5 −3 =40), a 1985-ös Sakk Világbajnokság (amelyben Kasparov nyerte a címet, 13<unk>11), a 1986-os Sakk Világbajnokság (kis győzelem Kasparov, 121⁄2<unk>111⁄2), a 1987-es Sakk Világbajnokság (egyenlő 12<unk>12, Kasparov megtartotta a címet), és a 1990-es Sakk Világbajnokság (újra Kasparov, 121⁄2<unk>111⁄2).