Kipyego első nemzetközi csúcspontja a 2005-es IAAF világbajnokságon volt, ahol ezüstérmet nyert a junior versenyen, hogy egy kenyai kitörést alakítson ki az érmek között, Augustine Choge és Barnabas Kosgei mellett. A
A 2007-es világbajnokságon bronzérmet nyert az idősebbek versenyén, míg a kenyai csapat, amelynek tagja volt, megnyerte a csapatversenyt. 2008-ban egyénileg 10. lett, és újabb csapat aranyérmet nyert. A 2008-as IAAF Világ Atlétikai Finályn is részt vett, nyolcadik helyet foglalva az 5000 méteres futáson.