Awalnya berlari untuk klub bergengsi Olympique de Safi, penampilan internasional pertama Goumri untuk Maroko datang sebagai junior di 1995 IAAF World Cross Country Championships
, di mana ia berada di urutan ke-25 dan berbagi medali perunggu tim junior. Pada awal karirnya, ia berbasis di Norwegia. Dia berlari di Tromsø Midnight Sun Marathon 1997 dan menang dalam waktu 2:30:54 jam. Pada tahun 1999, ia memenangkan kejuaraan Norwegia di 1500 meter dan 5000 meter. Seperti rekan senegaranya Khalid Skah, yang memenangkan kejuaraan Norwegia 5000 m pada tahun 1997, 1998 dan 2000, Goumri mewakili klub atletik IL i BUL. Ia meraih kemenangan berturut-turut di pertemuan Eurocross di Luksemburg, setelah meraih gelar pada tahun 2000 dan 2001.