Í upphafi hlaupa fyrir hátíðlega Olympique de Safi klúbbinn, fyrsta alþjóðlega útlit Goumri fyrir Marokkó kom sem unglingur á 1995 IAAF World Cross Country Championships
, þar sem hann komst í 25. sæti og deildi í brons liðsmidli yngri. Í byrjun ferils síns var hann búsettur í Noregi. Hann hljóp á Tromsø Midnight Sun Marathon 1997 og vann á tíma 2:30:54 klst. Árið 1999 vann hann norska meistaratitilinn bæði í 1500 metra og 5000 metra hlaupum. Líkt og landsmanninn hans Khalid Skah, sem vann norska 5000 m meistaramót árið 1997, 1998 og 2000, var Goumri fulltrúi íþróttaklúbbsins IL i BUL. Hann sigraði í röð á Eurocross mótinu í Lúxemborg og vann titilinn árið 2000 og 2001.