Clemens saíu da xubilación, asinando un contrato dun ano coa súa cidade natal adoptiva Houston Astros o 12 de xaneiro de 2004, uníndose ao seu amigo íntimo e ex compañeiro de equipo dos Yankees Andy Pettitte. O 5 de maio de 2004, Clemens rexistrou o seu strikeout número 4.137 na súa carreira para colocalo segundo na lista de todos os tempos detrás de Nolan Ryan. Foi nomeado titular do equipo de estrelas da Liga Nacional, pero finalmente foi o lanzador perdedor nese partido despois de permitir seis corridas en cinco acertos, incluíndo un home run de tres corridas para Alfonso Soriano. Clemens rematou a tempada cun récord de 18 a 4, e foi galardoado co seu sétimo Cy Young Award, converténdose no xogador máis vello en gañar o Cy Young aos 42 anos. Isto fíxoo un dos seis lanzadores que gañaron o premio en ambas ligas, uníndose a Gaylord Perry, Pedro Martínez e Randy Johnson e máis tarde uníronse a Roy Halladay e Max Scherzer. Clemens foi o lanzador perdedor para os Astros no xogo 7 da NLCS 2004
contra os St. Louis Cardinals, permitindo 4 corridas en 6 entradas de traballo. Aínda que lanzou ben, cansouse na sexta entrada, entregando as catro corridas.