Suzuki検索エンジンのロボットのアクセスを制御して、特定のページをインデックスさせないようにする手段の一つとして、robots.txtを用いる方法があります。通常、特にロボットからブロックしたいコンテンツがないときは、robots.txtは不要です。robots.txtが存在しなければ、すべてのファイルにアクセスしてインデックス(しようと)します。Groupsのスレッドで、明らかになりました。ExplorerやFirefoxのようなブラウザと、ApacheやIISというウェブサーバーの間でHTTPと規格に従った通信が行われます。Found」というステータスコードが返されます。ロボットは、サイトにアクセスしたときにまず最初にrobots.txtを確認するように設計されています。robots.txtが存在しなければ、サーバーは404エラーを返し、ロボットはそのままクローリングを開始します。ところが、robots.txtがないにもかかわらず、サーバーが404エラーを返さないで、タイムアウトしたり不適切なリダイレクトを実行したりしていると、ロボットがクローリングできなくなってしまうらしいのです。Groupsのスレッドの投稿者は、導入したシステムが原因でロボットがrobots.txtにアクセスを試みたときに、おかしなリダイレクトが発生していました。これが、原因でGoogleのインデックスから完全に消滅してしまったのです。普通に運用していれば、robots.txtがないことでインデックスから消えるということは、まずなさそうですが、気には留めておきたいですね。Statusを調べるツールを利用するといいでしょう。どれがいいということは、ないのですが、ググッたらこんなツールがありました。Checker英語です。日本語で使えるツールがあれば、教えてください。ロリポップやチカッパのようなGMO系のレンタルサーバーでは、存在しないrobots.txtファイルにアクセスすると、なにやら他のレンタルサーバー業者が使っていないような方法でエラーページへ転送するとのことです(404エラーを返さず、302リダイレクトをかけている)。詳しくはSEO塾さんのこちらのエントリを参照してください。以下のように記述したrobots.txtをアップしておくという、手もあります。/robots.txtは、普通ロボットのアクセスを禁止(Disallow)するために使います。すべてのファイルにアクセスしてよいという許可の指示(Allow)を、あえて明示的に与えておくわけですね。P.S.この海外SEO情報ブログの読者さんには、初級から上級までいろんなレベルのウェブマスターがいると思います。日本語で使えるツールがあれば、教えてください。読者のjakkさんが、ソッコーで日本語ツールを作ってくれました。コメントをご覧ください。カンファレンスでのスピーカー登壇が決定。Consoleに追加。ラウンドナップ・Webコンサルティング。