În martie 2004 Gebremariam a demonstrat că a progresat pe deplin de la rangurile juniori, câștigând două medalii de argint la Campionatele Mondiale de Cross Country
, unul pe curs scurt și unul pe curs lung; în esență, dacă nu ar fi fost pentru compatriotul său Kenenisa Bekele, el ar fi fost unul dintre cei doi bărbați care au câștigat victorii pe curs scurt și lung la aceleași campionate. El a fost selectat pentru echipa etiopiană de la Olimpiada de vară de 5000 de metri împreună cu Kenenisa Bekele și Dejene Berhanu, unde a terminat pe locul patru, cu 0,25 secunde în spatele medaliatului de bronz Eliud Kipchoge din Kenya.