ウェブをクロールするために使用するロボットをご紹介します「クローラ」は、ウェブページ間のリンクをたどることによってウェブサイトを自動的に検出してスキャンするプログラム(ロボットやスパイダーなど)の総称です。ディレクティブでそのクローラをどのように指定するかについて示します。さまざまなサービスで使用されているクローラを示しています。トークンは、サイトのクロールルールを作成するにあたってクローラのタイプを指定するために使われます。