Algselt, kui lehekülgede arv oli  väike, oli kerge hoida silma peal kogu internetis avaldatud materjalil. Ent üha rohkemate ülikoolide, raamatukogude ja organisatsioonide lisandumisega, muutus internetis arve pidamine üha raskemaks. Tekkis vajadus selle teadmistevaramu indekseerimise järele.