2002 m. Williamsas tapo "Houston Astros" treneriu. 2004 m. "All-Star" rungtynėse Hjustone, kur buvo Nacionalinės lygos treneris, - tuo metu, kai "Astros" kovojo su.500 ženklu - Hjustono "Minute Maid Park" minios atsiliepė į "Williams" pristatymą su labai mišriomis reakcijomis, skirtingai nuo apklausos, paprastai teikiamos namų komandos nariams, kurie pristatomi "All-Star" rungtynėse. Kitą dieną "Astros" atleido "Williams" ir du pagrindinius trenerius, tikriausiai laukė iki šventės pabaigos, kad išvengtų viešos gėdos. Williamsas buvo pakeistas Fil Garner, kuris vedė Astros į 2004 m. Nacionalinės lygos čempionato seriją.
bet liko viena rungtynė iki pirmojo Hjustono pasaulio čempionato. (Kitus metus Garneris vedė "Astros" į Pasaulio seriją.) "Williams" baigė su 215 pergalių ir 197 pralaimėjimų.