Dokonči nasledujúcu vetu: V roku 2002 sa Williams stal manažérom Houston Astros. Zatiaľ čo slúžil ako tréner Národnej ligy na All-Star Game v roku 2004 v Houstone <unk> v čase, keď Astros bojovali na hranici.500 <unk> dav v Minute Maid Parku v Houstone reagoval na predstavenie Williamsovej rozhodne zmiešanou reakciou, na rozdiel od ovácií, ktoré sa zvyčajne dávajú členom domáceho tímu, ktorí sú predstavení na All-Star Game. Nasledujúci deň Astros vyhodili Williama a dvoch hlavných trénerov, pravdepodobne počkali až po slávnostiach, aby sa vyhli verejnému rozpakom. Williams bol nahradený Philom Garnerom, ktorý viedol Astros do
2004 National League Championship Series, ale zlyhal o jeden zápas pred prvým World Series v Houstone. (Nasledujúci rok Garner viedol Astros na World Series.) Williams skončil s rekordom 215 víťazstiev a 197 porážok.