When a search engine visits a site, the robots.txt located in the root directory is the first file crawled.
Amikor egy kereső meglátogat egy oldalt, a gyökérkönyvtárban található robots.txt az első általa letöltött lap.