Kipyego pirmasis tarptautinis pasiekimas buvo 2005 m. Pasaulio krepšinio lenktynių čempionate, kur jis užėmė sidabro medalį jaunimo lenktynėse ir suformavo Kenijos medalių virtinę kartu su Augustine Choge ir Barnabas Kosgei. 2007 m. Pasaulio kreiso lenktynių čempionate jis laimėjo bronzinį medalį vyresnio amžiaus lenktynių metu, o Kenijos komanda, kurios jis buvo dalis, laimėjo komandinį varžybas. Į
2008 m. jis užėmė dešimtą vietą individualiai ir laimėjo dar vieną komandinį aukso medalį. Jis taip pat dalyvavo 2008 m. IAAF pasaulio lengvosios atletikos finalėje, užimdamas aštuntą vietą 5000 metrų lenktynėse.