Rugadh Kovačić ann an Linz, an Ostair, do phàrantan Croat Bòsniach a bha air gluasad an sin bho Kotor Varoš ann am Bosnia agus Herzegovina, thòisich e a 'cluich aig aois òg aig acadamaidh LASK Linz ionadail. Ann an 2007, nuair a bha Kovačić 13 bliadhna a dh'aois, chaidh a lorg le sguabhan bho grunn chlubs ainmeil Eòrpach, nam measg Ajax, Inter Milan, Juventus agus Bayern Munich, ach roghnaich a theaghlach gluasad gu Zagreb an àite sin, far an do ghabh e pàirt ann an acadamaidh nam mòr Croat Dinamo Zagreb.
13