2010年11月24日robots.txtで巡回を拒否する場合は、「robots.txt」という名前でテキストファイルを用意し、下記の内容を記述します。ファイルは、サイトのルートディレクトリに設置してください。*」は、「すべてのクローラー」という意味になります。/」に続いてそのディレクトリ名を指定します。/cgi-bin/巡回の拒否(Disallow:)、クローラーの受け入れ(Allow:)の記述の前には、対象となるクローラーのユーザーエージェント名を記述します。この記述がないときはすべてのクローラーに対する指示(「*」と同様)とみなされます。robots.txtが設置されていない場合、サイトに対する巡回の制限はないものとみなされます。クローラーは巡回のたびにrobots.txtの有無を確認しており、新たにrobots.txtが設置されていた場合には、ファイルに記載された内容に従って巡回します。巡回後、インデックスを更新し、検索結果に反映されるまでには時間がかかるため、すぐに設定の内容が反映されるわけではありません。「ルートディレクトリ」とは、サイトの一番上の階層を指します。ルートディレクトリ:http://example.com/ルートディレクトリから1つ下のディレクトリ:http://example.com/foo/サイトがこのような構造の場合、http://example.com/robots.txtなどとなるように「robots.txt」を保存してください。ルートディレクトリに任意のファイルを設置できない場合(たとえば、Yahoo!ジオシティーズのホームページ作成サービスを利用している場合。//www.geocities.jp/△△△/という1つ下のディレクトリからになるため、ルートディレクトリにファイルを保存できません)は、「robots.txt」による巡回拒否はできません。メタタグで、インデックスへの登録拒否を設定してください。大文字と小文字の区別Disallow(拒否)、Allow(許可)のあとに記述されたディレクトリ名は、大文字と小文字の違いがあった場合、別のものとして扱います。次のような例では、private、Private、PRIVATEはすべて別々のディレクトリを指定していることになります。「Allow:」は通常「Disallow:」と組み合わせて使用します。あるディレクトリのなかの特定のウェブページだけを巡回してほしい場合には、次のように記述します。/foo/bar.htmlこの例では、「foo」ディレクトリ以下は巡回を拒否するが、/foo/bar.htmlは巡回を許可するという意味を持ちます。