I got the list of the top 1 million sites from Alexa and wrote a small program to download the robots.txt file from each domain.
Я атрымаў спіс 1 мільён лепшых сайтаў Alexa і напісаў невялікая праграма загрузіць файл robots.txt з кожнага дамена.