Vuoden 2003/04 kauden jälkeen Modrý jätti Kingsin rajoittamattomana vapaana agenttina ja allekirjoitti sopimuksen Atlanta Thrashersin kanssa. Hän palasi Tšekin Extraligaan ja pelasi HC Liberecin kanssa NHL: n lukituskauden 2004-05 aikana. Vain yhden kauden jälkeen Modrý ja Patrik Štefan vaihdettiin Dallas Starsille Niko Kapanen ja vuoden 2006
Seitsemännen kierroksen valinta. Pelattuaan puolet kaudesta 2006-07 Starsilla, Dallas lähetti hänet takaisin Kingsille osana määräpäivän sopimusta hankkia entinen Kings-joukkuetoverinsa Mattias Norström. Vuotta myöhemmin Modrý oli taas liikkeellä, kun Kings vaihtoi hänet Philadelphia Flyersille 3. kierroksella vuonna 2008.