Rozehnal savo karjerą pradėjo "SK Sigma Olomouc", kur jo pasirodymai uždirbo jam vietą Čekijos 21 metų jaunimo komandoje. 2003 m. jis pasirašė sutartį su Belgijos klubu "Club Brugge". 2004 m. Čekijos rinktinėje dalyvavo Europos čempionate.
kur komanda pateko į pusfinalinį turnyrą, kol buvo nugalėta Graikijos. Savo pirmąjį sezoną su "Brugge" jis laimėjo Belgijos taurę ir 2005 m. laimėjo Belgijos lygą. 2005 m. birželį jis pasirašė sutartį su "Paris Saint-Germain".