Kipyego alipata umaarufu wake wa kwanza wa kimataifa akiwa kijana katika michuano ya mwaka 2005 ya mashindano ya dunia ya mbio za msalaba, ambapo alichukua medali ya fedha katika mbio za vijana na kuunda kundi la Kenya la kupata medali, pamoja na Augustine Choge na Barnabas Kosgei. Katika Mashindano ya Dunia ya Mashindano ya Nchi ya 2007 alishinda medali ya shaba katika mbio za wakubwa, wakati timu ya Kenya ambayo alikuwa sehemu alishinda mashindano ya timu. Katika mwaka wa 2008
alimaliza wa kumi binafsi, na alishinda medali nyingine ya dhahabu ya timu. Pia alishindana katika 2008 IAAF World Athletics Final mwaka huo, kuchukua nafasi ya nane katika mita 5000 juu ya kufuatilia.