O pico da súa tempada chegou nos Xogos Olímpicos de Atenas de 2004, onde se converteu na primeira persoa na historia do deporte eritreo en gañar unha medalla olímpica. Zersenay gañou o bronce nos 10.000 metros nos Xogos Olímpicos de 2004 en Atenas, Grecia por detrás de Kenenisa Bekele e Sileshi Sihine. A súa actuación de 27:22.57 representou unha mellora dramática, xa que superara o seu mellor tempo anterior por dez segundos, a pesar das condicións de calor desfavorables. Zersenay rexeitou politizar a súa vitoria na medalla detrás dos seus homólogos etíopes, afirmando: "sempre fomos amigos dos etíopes. Agora somos unha nación... podo dicir que son moi feliz". O corredor eritreo Meb Keflezighi, que representaba aos Estados Unidos, gañou a prata na maratón
uns días despois, destacando a mellora dos estándares do país. Zersenay rematou os seus primeiros Xogos chegando a outra final: ocupou o sétimo lugar na carreira masculina de 5000 metros, confirmando a súa posición como corredor de clase mundial.