2002-ben Williams lett a Houston Astros menedzsere. Míg a 2004-es All-Star Game-en a National League edzőjeként szolgált Houstonban <unk> abban az időben, amikor az Astros küzdött a.500-as jelnél <unk> a Houston Minute Maid Park-i tömeg a Williams bemutatására határozottan vegyes reakcióval reagált, ellentétben a hazai csapat tagjainak általánosan adott ovációkkal, akiket All-Star-meccsen bemutatnak. A következő napon az Astros kirúgta Williams-t és két főedzőt, valószínűleg az ünnepségek után vártak, hogy elkerüljék a nyilvános zavarba esést. Williams-t Phil Garner váltotta fel, aki az Astros-t a
A 2004-es National League bajnoki sorozatban, de egy meccs hiányzott, hogy Houston eljusson az első World Series-be. (A következő évben Garner vezette az Astros-t a World Series-be.) Williams 215 győzelemmel és 197 vereséggel fejezte be.