Hänen kautensa huippukohta oli vuoden 2004 Ateenan olympialaisissa, jossa hänestä tuli ensimmäinen eritrealainen urheilun historiassa, joka voitti olympialaisen mitalin. Zersenay voitti pronssin 10 000 metrin juoksussa vuoden 2004 kesäolympialaisissa Ateenassa Kreikassa Kenenisa Bekelen ja Sileshi Sihinen jälkeen. Hänen suorituksensa 27:22,57 edusti dramaattista parannusta, sillä hän oli lyönyt aiemman parhaansa kymmenellä sekuntilla epäsuotuisasta lämpötilasta huolimatta. Zersenay kieltäytyi politisoimasta mitalinsa voittoa etiopialaisten vastustajiensa jälkeen ja totesi: "Olemme aina olleet ystäviä etiopialaisten kanssa. Nyt olemme kansakunta... Voin sanoa olevani hyvin onnellinen". Eritrean syntynyt juoksija Meb Keflezighi, joka edusti Yhdysvaltoja, voitti hopean maratonissa.
Muutaman päivän kuluttua, korostaen maan paranevia standardeja. Zersenay pääsi ensimmäisten olympialaistensa jälkeen toiseen kilpailun finaaliin: hän sijoittui seitsemänneksi miesten 5000 metrin juoksussa, mikä vahvisti hänen asemansa maailmanluokan juoksijana.