2002年 ウィリアムズはヒューストン・アストロスの マネージャーになりました 2004年のヒューストン・オールスター・ゲームでナショナル・リーグのコーチを務めていたとき,アストロスが.500で苦戦していたとき,ヒューストンのミニート・メイド・パークの観客は,オールスター・ゲームで紹介されたホームチームのメンバーに一般的に与えられた拍手声とは対照的に,ウィリアムズの紹介に決定的に混合反応を示した. 翌日,アストロスはウィリアムズと2人の主任コーチを解雇し,公的な恥を避けるために祭りの終わりまで待ったようだ. ウィリアムズはフィル・ガーナーに取って代わられ,アストロスを2004年ナショナル・リーグ・チャンピオンシップ・シリーズに導いた.
しかしヒューストンの初のワールドシリーズへの出場に1試合遅れでした (翌年,ガーナーはアストロスをワールドシリーズに導いた.) ウィリアムズは215勝,197敗の記録を保持した.