Inicialment va competir per al prestigiós club Olympique de Safi, la primera aparició internacional de Goumri per al Marroc va ser com a junior al Campionat Mundial de Cross Country de la IAAF de 1995.
, on va acabar 25è i va compartir la medalla de bronze en el equip junior. Al començament de la seva carrera, va estar basat a Noruega. Va córrer a la Marató Tromsø Midnight Sun 1997 i va guanyar en un temps de 2:30:54 hores. El 1999, va guanyar els campionats noruecs tant en 1500 metres com en 5000 metres. Com el seu compatriota Khalid Skah, que va guanyar el campionat noruec de 5000 m el 1997, 1998 i 2000, Goumri va representar el club d'atletisme IL i BUL. Va aconseguir victòries consecutives a la reunió d'Eurocross a Luxemburg, havent guanyat el títol el 2000 i el 2001.