Fyrsta alþjóðlega hápunktur Kipyego kom sem unglingur á IAAF World Cross Country Championships árið 2005, þar sem hann vann silfurverðlaun í unglingahlaupi og myndaði Kenyan sweep of the medals, ásamt Augustine Choge og Barnabas Kosgei. Á heimsmeistaramótinu í langrennsli árið 2007 vann hann bronsverðlaun í eldri keppninni, en Kenyan liðið sem hann var hluti af vann liðskeppnina. Árið 2008
Hann hafđi lokađ í tíunda sæti og vann gullverðlaun fyrir liđiđ. Hann keppti einnig á IAAF World Athletics Final árið 2008 og varð í áttunda sæti í 5000 metra hlaupi á brautinni.