Разработчик получил возможность выбрать одну из двух глобальных стратегий : " роботам разрешено индексировать все , что не запрещено " или " запрещено все , что не разрешено " .
разработчик$1448 получить$1620 возможность$1460 выбрать$1490 один$1728 из$0 два$1918 глобальный$1554 стратегия$1566 :$0 "$0 робот$1892 разрешить$1672 индексировать$1506 все$2246 ,$0 что$1714 не$0 запретить$1672 "$0 или$0 "$0 запретить$1672 все$1832 ,$0 что$1714 не$0 разрешить$1672 "$0 .$0