En marzo de 2004 Gebremariam demostrou que había progresado completamente desde os rangos junior ao gañar dúas medallas de prata nos Campionatos Mundiais de Cross Country.
En esencia, se non fose polo seu compatriota Kenenisa Bekele, sería un dos únicos dous homes que gañaron vitorias de curta e longa distancia no mesmo campionato. Foi seleccionado para o equipo etíope de 5000 metros nos Xogos Olímpicos de Verán xunto con Kenenisa Bekele e Dejene Berhanu, onde terminou cuarto, 0.25 segundos por detrás do medallista de bronce Eliud Kipchoge de Kenia.