Í framhaldi af þessari málsgrein - Árið 2002 varð Williams framkvæmdastjóri Houston Astros. Á meðan hann starfaði sem þjálfari National League á All-Star leiknum 2004 í Houston <unk> á þeim tíma þegar Astros voru að glíma við.500 merki <unk> fjöldi á Minute Maid Park í Houston svaraði kynningu Williams með ákveðnum blönduðum viðbrögðum, í andstæðu við fagnað sem almennt er gefið meðlimum heimamanns liðsins sem eru kynntir á All-Star leik. Daginn eftir létu Astros rekja Williams og tvo aðalþjálfara, eftir að hafa væntanlega beðið eftir hátíðarhöldin til að forðast að koma í vandræði fyrir almenning. Williams var skipt út fyrir Phil Garner, sem leiddi Astros til 2004 National League Championship Series
en var einum leik skammt frá því að komast í fyrsta heimsmeistaratitil Houston. (Á næsta ári leiddi Garner Astros til World Series.) Williams endaði með 215 sigra og 197 tap.