1984 m. Ruthvenas pradėjo mažinti savo efektyvumą. Sezoną jis pradėjo kaip "Cubs" starterius, balandžio 3 d. laimėdamas "San Francisco Giants". Nors "Cubs" laimėjo diviziją su 96 pergalėmis, "Ruthven" laimėjo tik šešias rungtynes prieš dešimt pralaimėjimų, surinktų per 23 rungtynes (22 pradžia). Taip pat padidėjo jo vidutinis pelno vidurkis - 5,04. Tai buvo mažiausias jo laimėjimas nuo 1975 metų. 1984 m. Nacionalinės lygos čempionatų serijoje Ruthvenas nepasirodė.
"Cubs" pralaimėjo penkis rungtynes prieš "San Diego Padres".