Karl kasvas üles Madalmaades ning sai pärast oma  isa ootamatut surma 1506. aastal Burgundia hertsogiks, mis tähendas toona Madalmaade ja Burgundia vabakrahvkonna, hilisema Franche-Comté valitsejaks saamist. Teoreetiliselt oli tal õigus saada ka Kastiilia kuningaks (ta isa oli Felipe I nime all selle valitseja olnud 1504-1506), kuid tema võimukas vanaisa Aragóni Fernando püüdis seda igati takistada, mistõttu riigi formaalseks valitsejaks sai Karli nõdrameelne ema Juana, tegelikult aga läks võim Fernando kätte. Fernandole lemmikuks oli Karli vend Ferdinand, kelle ta võttis oma õukonda. Ometi läks nõnda, et Aragóni ja Kastiilia valitsejaks sai ikkagi Karl ning Ferdinandist sai hiljem Saksa kuningas, hiljem ka keiser. Karl jäi elama Madalmaadesse ning tema olulisim õpetaja oli Utrechti Adriaan, kellest sai hiljem paavst Hadrianus VI.