Kovalcsuk a moszkvai Spartak ifjúsági rendszerében fejlődött, 1999-ben csatlakozott a felsőcsapathoz a Vyszshaya Ligában. A Spartaknál töltött két szezon után csatlakozott az NHL Atlanta Thrashers csapatához, akik elsőnek választották a
2001-es NHL Draft. Nyolc szezon után a Thrashers-szel, 2010-ben a New Jersey Devils-hez került, akivel 15 éves, 100 millió dolláros szerződést írt alá, miután egy 17 éves, 102 millió dolláros szerződést elutasított az NHL. 2013-ban elhagyta az NHL-t, hogy visszatérjen Oroszországba, csatlakozva az SKA Szentpétervárhoz, ahol öt szezonig játszott, mielőtt 2018-ban visszatért az NHL-be.