Rutto hóf feril sinn í frjálsíþróttum sem steypuþróttamaður. Hann vann gullverðlaun í 2000 m steeple á IAAF World Youth Championships og setti heimsbesta tíma unglinga 5:30.27, og endurnýjaði met sovéska hlaupara Mykola Matyushenko sem hafði staðið óbreytt í næstum tvo áratugi. Rutto sýndi hæfileika sína enn frekar með öðru metinu á 5:27.64 í atburðinum tveimur mánuðum síðar í Liège. Hann hlaupađi í unglingahlaupinu á
2004 IAAF World Cross Country Championships og endaði í sjöunda sæti og var hluti af sigursælu Kenyan yngri liði. Hann sneri aftur í steeplechasing á brautinni síðar sama tímabili og byggði á titli sínum í æskulýðsárunum með sigri á heimsmeistaramótinu 2004 í frjálsíþróttum, þar sem hann náði persónulegu besta 8:23.32 fyrir 3000 m steeplechase. Hann sigraði Musa Amer Obaid með sprint til línunnar til að halda áfram ósigraðri röð Kenía í keppninni.