Po dviejų gana sėkmingų sezonų be atrankos, 2004-ųjų sezono viduryje Astros varžėsi. Prieš sezoną "Astros" pridėjo žvaigždžių Andy Pettitte ir Roger Clemens į komandą, kurioje jau buvo tokių žvaigždžių kaip Lance Berkman ir Jeff Kent, taip pat Bagwell ir Biggio branduolys. Jie greitai tapo favoritais laimėti Nacionalinę lygą. Tačiau per "All-Star" pertrauką jie buvo 44-44, daugiausia dėl nesugebėjimo užmušti įvarčių ir prastų įrašų vienkartinėse rungtynėse. 2004 m. Žvaigždžių rungtynėse, vykusiose Minute Maid Parke, Williamsas buvo atleistas ir pakeistas Fil Garneru, kuris buvo "Astros" antrosios divizijos nugalėtojo 1986 m. žvaigždė. Nors daugelis žmonių labai skeptiškai žiūrėjo į Garnerį, kuris savo ankstesniuose Milvoke ir Detroite treniruočių metu turėjo vidutinio rezultato, bet bet kuriuo metu laimėjo tik vieną sezoną (1992 m.), komanda atsakė į Garnerį, kuris antrąjį pusmetį vedė komandą į 46-26 rezultatą ir Nacionalinės lygos laukinę kortelę. Jie laimėjo savo pirmąją pralaimėjimo seriją per aštuonis bandymus, nugalėdami "Braves" penkis Nacionalinės lygos divizijos serijos žaidimus, kad patektų į Nacionalinės lygos čempionato seriją.
trečią kartą. Tačiau jie pralaimėjo "St. Louis Cardinals" per septynias rungtynes, labiausiai dramatiškai dėl Jimo Edmondso "home run" 12-oje žaidimo 6-osios rungtynės.