El primer moment destacat internacional de Kipyego va ser com a junior en el Campionat Mundial de Cross Country de la IAAF de 2005
, on va prendre la medalla de plata en la cursa junior per formar una baralla de medalles de Kènia, al costat d'Augustine Choge i Barnabas Kosgei. En el Campionat del Món de Cross Country de 2007 va guanyar la medalla de bronze en la cursa de seniors, mentre que l'equip de Kènia del qual formava part va guanyar la competició per equips. El 2008 va acabar desè individualment, i va guanyar una altra medalla d'or en equip. També va competir a la Final Mundial d'Atletisme de la IAAF el 2008, ocupant el vuitè lloc en els 5000 metres a la pista.