Kovačić var fæddur í Linz, Austurríki, af bosnískum króatískum foreldrum sem höfðu flutt þangað frá Kotor Varoš í Bosníu og Hersegóvínu. Kovačić byrjaði að spila snemma á menntunarskóla LASK Linz. Árið 2007, þegar Kovačić var 13 ára gamall, var hann fundinn af skátum frá nokkrum frægum evrópskum félögum, þar á meðal Ajax, Inter Milan, Juventus og Bayern München, en fjölskylda hans ákvað að flytja til Zagreb í staðinn, þar sem hann gekk í skólann hjá króatískum risum Dinamo Zagreb.
13