Pada bulan Maret 2004 Gebremariam menunjukkan bahwa ia telah berkembang sepenuhnya dari peringkat junior dengan memenangkan dua medali perak di Kejuaraan Dunia Cross Country
, satu di jalur pendek dan satu di jalur panjang; pada dasarnya, jika bukan karena rekan senegaranya Kenenisa Bekele, ia akan menjadi salah satu dari hanya dua orang yang pernah mengklaim kemenangan jalur pendek dan panjang di Kejuaraan yang sama. Dia terpilih untuk tim Olimpiade Musim Panas 5000 meter Ethiopia bersama dengan Kenenisa Bekele dan Dejene Berhanu, di mana dia finis keempat, 0,25 detik di belakang peraih medali perunggu Eliud Kipchoge dari Kenya.