V roce 2002 se Williams stal manažerem Houston Astros. Zatímco sloužil jako trenér Národní ligy na All-Star Game 2004 v Houstonu <unk> v době, kdy Astros bojovali na.500 značku <unk> dav v Houstonu Minute Maid Park reagoval na představení Williams s rozhodně smíšenou reakci, na rozdíl od ovations obecně dáno členy domácího týmu, kteří jsou představeny na All-Star game. Následující den Astros vyhodili Williama a dva hlavní trenéry, pravděpodobně počkali až do konce oslav, aby se vyhnuli veřejnému rozpakům. Williams byl nahrazen Philem Garnerem, který vedl Astros do National League Championship Series v roce 2004
ale o jeden zápas méně než Houston do prvního World Series. (Následující rok Garner vedl Astros na World Series.) Williams skončil s rekordem 215 vítězství a 197 porážek.