Pada tingkat internasional, Kovač bermain untuk Kroasia dalam lima pertandingan kualifikasi untuk Piala Dunia 2002 dan mencetak satu gol dalam kemenangan 4-0 Kroasia melawan San Marino. Pada turnamen final, ia tampil sebagai pemain awal di semua tiga pertandingan grup sebelum Kroasia tersingkir dari turnamen dengan finis di tempat ketiga di grup mereka. Dia juga menjadi pemain reguler di kualifikasi UEFA Euro 2004, membuat tujuh penampilan dan mencetak dua gol dalam pertandingan tandang, kemenangan 1-0 melawan Estonia dan gol pembuka dalam kemenangan 3-0 tim atas Andorra. Dia juga memainkan seluruh tiga pertandingan grup yang dimainkan oleh tim Kroasia di turnamen final Euro 2004.
di Portugal dan mencetak gol pembuka dalam pertandingan grup terakhir melawan Inggris. Namun, Kroasia kalah dalam pertandingan 4-2 dan sekali lagi tersingkir dari turnamen sebagai negara peringkat ketiga di grupnya.