Kipyego pertama kali tampil di ajang internasional pada tahun 2005 di IAAF World Cross Country Championships, di mana ia meraih medali perak di balapan junior untuk membentuk medali Kenya, bersama Augustine Choge dan Barnabas Kosgei. Pada Kejuaraan Dunia Cross Country 2007
ia memenangkan medali perunggu di balapan senior, sementara tim Kenya yang menjadi bagian dari memenangkan kompetisi tim. Pada tahun 2008 ia menempati posisi kesepuluh secara individual, dan memenangkan medali emas tim lainnya. Dia juga berkompetisi di IAAF World Athletics Final 2008 tahun itu, mengambil tempat kedelapan di 5000 meter di trek.