W 2002 roku, Williams został menadżerem Houston Astros. Podczas pełnienia funkcji trenera Ligi Narodowej w All-Star Game w 2004 roku w Houston <unk> w czasie, gdy Astros zmagały się z.500 marką <unk> tłum w Minute Maid Park w Houston zareagował na wprowadzenie Williams z zdecydowanie mieszaną reakcją, w przeciwieństwie do owacji ogólnie dawanych członkom drużyny domowej, którzy są wprowadzani w All-Star Game. Następnego dnia Astros zwolnili Williama i dwóch głównych trenerów, prawdopodobnie czekając do końca uroczystości, aby uniknąć publicznego upokorzenia. Williams został zastąpiony przez Phila Garnera, który doprowadził Astros do serii Mistrzostw Ligi Narodowej 2004
Ale o jeden mecz brakowało, żeby Houston po raz pierwszy wygrało World Series. (W następnym roku, Garner doprowadził Astros do World Series.) Williams zakończył z rekordem 215 zwycięstw i 197 porażek.