Эти правила можно задавать как для всех поисковых роботов скопом ( User - agent : * ) , так и выбирая конкретных пауков ( Yandex для " Яндекса " , Googlebot для Google , bingbot для Bing и так далее ) .
этот$1676 правило$1678 можно$36 задавать$1506 как$0 для$0 весь$1988 поисковый$1554 робот$1540 скопом$36 ($0 User$676 -$0 agent$676 :$0 *$676 )$0 ,$0 так$36 и$0 выбирать$1496 конкретный$1662 паук$1696 ($0 Yandex$676 для$0 "$0 Яндекс$0 "$0 ,$0 Googlebot$676 для$0 Гугл$1538 ,$0 bingbot$676 для$0 Bing$676 и$0 так$36 далее$36 )$0 .$0