Fyrsta alþjóðlega hápunktur Kipyego kom sem unglingur á IAAF World Cross Country Championships árið 2005, þar sem hann vann silfurverðlaun í unglingahlaupi og myndaði Kenyan sweep of the medals, ásamt Augustine Choge og Barnabas Kosgei. Á heimsmeistaramótinu í langrennsli 2007
Hann vann bronsverðlaun í eldri keppninni, á meðan Kenyan liðið sem hann var hluti af vann liðskeppninni. Árið 2008 varð hann tíundi einstaklingslega og vann annað lið gullverðlaun. Hann keppti einnig á IAAF World Athletics Final árið 2008 og varð í áttunda sæti í 5000 metra hlaupi á brautinni.