Something else that I wanted to try out was to identify the worst web crawlers on the internet, by leveraging the collective opinion of the million robots.txt files I downloaded.
Я хацеў бы паспрабаваць выявіць найгоршыя сеткавыя сканеры ў Інтэрнэце, выкарыстоўваючы калектыўную думку пра мільёны файлаў robots.txt, якія я загрузіў.