1984 m. Babersas tęsė savo greitą tobulėjimą. JAV finaliniuose olimpinėse varžybose Los Andžele jis laimėjo pusfinalinį turnyrą, pasiekęs geriausią asmeninį rezultatą - 44,95 sekundės. Vėliau, finalo metu, jis nubėgo dar vieną asmeninį rekordą - 44,86 ir taip įstojo į olimpinę komandą. Los Andželo olimpinėse žaidynėse jis toliau sumažino savo asmeninį rekordą iki 44,75, kai laimėjo ketvirtfinalį. Olimpinėje finalėje Babersas nubėgo 44,27 ir laimėjo auksą. 4 × 400 m atostogose
, JAV (Babersas bėgo trečią etapą) laimėjo aukso medalį lengvai 2:57.91.