En març de 2004 Gebremariam va demostrar que havia progressat plenament des dels rangs juniors en guanyar dues medalles de plata en el Campionat Mundial de Cross Country
, un en el curs curt i un en el llarg; en essència, si no fos pel seu compatriota Kenenisa Bekele, seria un dels dos únics homes que ha aconseguit victòries en curs curt i llarg en els mateixos campionats. Va ser seleccionat per als Jocs Olímpics d'estiu d'Etiòpia a l'equip de 5000 metres juntament amb Kenenisa Bekele i Dejene Berhanu, on va acabar quart, 0.25 segons darrere del medallista de bronze Eliud Kipchoge de Kenya.