Kipyego első nemzetközi csúcspontja a 2005-ös IAAF világbajnokságon volt, ahol ezüstérmet nyert a junior versenyben, hogy egy kenyai kitörést alakítson ki az érmek között, Augustine Choge és Barnabas Kosgei mellett. A 2007-es világbajnokságon bronzérmet nyert az idősebbek versenyében, míg a kenyai csapat, amelynek tagja volt, megnyerte a csapatversenyt. 2008-ban
Egyénileg 10. lett, és egy újabb csapat aranyérmet nyert. A 2008-as IAAF Világ Atlétikai Finályn is részt vett, nyolcadik helyet foglalva az 5000 méteres futáson.