O primeiro destaque internacional de Kipyego foi como junior no Campionato Mundial de Cross Country da IAAF de 2005, onde gañou a medalla de prata na carreira junior para formar un sweep keniano das medallas, xunto con Augustine Choge e Barnabas Kosgei. Nos Campionatos Mundiais de Cross Country de 2007 gañou a medalla de bronce na carreira senior, mentres que o equipo de Kenia do que formaba parte gañou a competición por equipos. En 2008
terminou décimo individualmente, e gañou outra medalla de ouro por equipo. Tamén compitiu na final do Mundial de Atletismo de 2008 da IAAF ese ano, ocupando o oitavo lugar nos 5000 metros na pista.