En 2004, Ventura viu a súa media de bateo caer 20 puntos a.262, aínda que tanto a súa porcentaxe de rebotes como de bases aumentou lixeiramente. Tamén recolleu o seu hit número 500 ese mes de maio e gañou o seu terceiro guante de ouro consecutivo, ao mesmo tempo que se converteu no primeiro terceiro base da Liga Americana con tres campañas consecutivas de 90 RBI desde Graig Nettles (1975<unk>78). O 4 de agosto de 1993, durante un partido contra os Texas Rangers, Ventura foi golpeado por un lanzamento de Nolan Ryan. Ventura atacou o montículo, onde Ryan, 20 anos maior que Ventura, puxo a Ventura nun bloqueo de cabeza e golpeouno varias veces, causando unha rixa de limpeza de banco. Esta pelexa foi votada a mellor pelexa de béisbol de todos os tempos polo "SportsCenter" de ESPN. Os White Sox gañaron a Liga Americana Oeste ese ano, o que resultou na única viaxe de Ventura aos playoffs mentres estaba en Chicago. Perderían na ALCS.
aos Toronto Blue Jays.