Так называемый Robots Exclusion Standard был создан как раз для управления активностью поисковых роботов на вашем сайте .
так$36 называть$2332 Robots$676 Exclusion$676 Standard$676 быть$1456 создать$1856 как$0 раз$1534 для$0 управление$1452 активность$1526 поисковый$1554 робот$1540 на$0 ваш$2610 сайт$1520 .$0