Babers jatkoi nopeaa parannustaan vuonna 1984. USA:n finaaliolympialaisissa Los Angelesissa hän voitti puolifinaalin 44,95:n henkilökohtaisella parhaansa kanssa. Myöhemmin finaalissa hän juoksi toisen henkilökohtaisen parhaimman 44,86: n pisteen, jotta hän pääsi olympialaisjoukkueeseen. Los Angelesin olympialaisissa hän laski henkilökohtaisen ennätyksensä edelleen 44,75:een, kun hän voitti neljännesvaiheensa. Babers juoksi olympiakisojen finaalissa 44,27 ja voitti kultamitalin. 4 × 400 metrin risteyksessä
Yhdysvallat (Babers juoksi kolmatta reittiä) voitti kultamitalin helposti 2:57,91: ssä.