Rozehnal memulai karirnya di SK Sigma Olomouc, di mana penampilannya memberinya tempat di tim Republik Ceko U-21. Pada tahun 2003, ia dikontrak oleh klub Belgia Club Brugge. Pada tahun 2004, Rozehnal bermain untuk Republik Ceko di Kejuaraan Eropa
di mana tim berhasil mencapai semifinal sebelum tersingkir oleh Yunani. Dia memenangkan Piala Belgia di musim pertamanya bersama Brugge dan Liga Belgia pada tahun 2005. Dia menandatangani kontrak dengan Paris Saint-Germain pada Juni 2005.