Höfuðstöðvar tímabilsins hans komu á Ólympíuleikunum í Aþenu 2004, þar sem hann varð fyrsti einstaklingurinn í íþróttasögu Eritrea til að vinna Ólympíuleikamerki. Zersenay vann brons í 10.000 metra hlaupi á Ólympíuleikunum 2004 í Aþenu, Grikklandi á eftir Kenenisa Bekele og Sileshi Sihine. 27:22,57 var stórkostleg bættur en hann hafði slegið fyrri met sitt um tíu sekúndur þrátt fyrir óhagstæð heita aðstæður. Zersenay neitaði að pólitíska medalíu sína vinna á bak við etíópísku félaga sína og sagði: "Við höfum alltaf verið vinir við Eþíópíumenn. Nú erum við þjóð... ég get sagt að ég sé mjög hamingjusöm". Eritrea-fæddur hlaupari Meb Keflezighi, sem fulltrúi Bandaríkjanna, vann silfur í maraþonhlaupinu
Nokkrum dögum seinna, sem undirstrikar bætt viðmið í landinu. Zersenay lauk sínum fyrstu Ólympíuleikum með því að komast í annað úrslit: hann varð sjöundi í 5000 metra hlaupi karla og staðfesti stöðu sína sem heimsækur hlaupari.