注意点ナイルのSEO成果事例を見る意味:robots.txtとはrobots.txtとは検索エンジンのクローラー(ロボット)のWEBページのへのアクセスを制限するためのファイルで、ロボットに向けた命令文(アクセスを許可/許可しない)を記述します。SEO対策の観点では、robots.txtはクロール最適化に用いられます。クロール最適化とは、サイト内の各ページに効率よくクローラーが訪問するようにするための施策です。期待したい重要なページに思うようにクローラーが訪れず、情報の更新が即座にインデックスに反映されなかったり、末端のページにクローラーが訪れずインデックスされなかったり、といった問題が生じることがあります。クローラーはXMLサイトマップに記載されたURLおよびサイト内外のリンクにあるURLを辿ることで、クロールすべきページを発見しています。クロール速度にはアクセスするユーザーの利便性を損なわないようサイトごとに上限が設けられており、URLパラメータによって無数のURLが動的に生成されるような仕様のページでは、サイト全体に対して十分にクロールが追いつかないといったことがありえます。バジェットとは?そこで、クローラーが不要なURLを訪問しないようにrobots.txtで命令することで、重要なページに効率よく訪問してもらうことがrobots.txtのSEOにおける役割です。◎SEO戦略設計・運用コンサルティングナイルのSEOコンサルティングは戦略立案~運用改善~コンテンツ制作まで、コンサルタント・編集者がお客様に伴走し、全体を通して支援します。robots.txtの設定とクロール制御の書き方ここではrobots.txtの設定と、クロール制御の書き方について解説します。クローラーに訪問して欲しくないページの指定です。指定すべきページには、ログインページ・連絡先フォーム・ショッピングカートなどクローラーが実行できない機能しか持たないページや、CMS管理画面などユーザーがアクセスする必要のないページが挙げられます。次にファイルの作成方法ですが、ファイル名は「robots.txt」とします。テキストファイルですので、一般的なテキストエディタ(メモ帳など)で作成できます。作成したファイルはルート直下に設置します。名前は正確に設定しなければ、適用されないので気をつけてください。クロール制御の記述方法についてですが、記述する内容は非常に単純で「どのロボットが」「どこのページ(或いはディレクトリ)に」「アクセスしても良い/アクセスしてはいけない」という内容です。命令の内容が『Googleモバイル用クローラー「Googlebot-Mobile」は、全てのWEBページにアクセスしてはいけない』だとしたら、robots.txtは次のようになります。/User-agentはロボットの種類を指定します。ここでは「Googlebot-Mobile」です。「Disallow」は「アクセス拒否」という意味です。今回はアクセス制限の範囲は全てのページですので、この場合は「/」になります。ディレクトリにアクセスしてはいけない』だとしたら、robots.txtは下記になります。/cgi-bin/User-agentの「*」は「全て」を表します。ディレクトリへのアクセス拒否が出来ます。複数のクローラーについて指定する場合は、下記のように二行で指定します。Google-Image補足:XMLサイトマップの位置を指定する他にもrobots.txtにはXMLサイトマップの位置を定義することができます。[絶対URL(http://から記載したURLパス)]詳細な仕様については開発者向けヘルプをご確認ください。Console内のrobots.txtテスターを使って動作確認をします。Consoleの「以前のツールとレポート」のタブから、「詳細」をクリックし、「ヘルプ」を開いた上で、そこにある外部リンクから遷移可能です。(こちらのリンクから直接遷移できます)robots.txtテスターでは、更新をすると、下記のような画面が表示されます。robots.txtを編集した上で、一番下の「送信」ボタンを押せば更新完了です。最後にエラー数、警告数が0であることを確認します。エラーがあった場合は、命令文にスペルミスがないかなどの確認をしましょう。注意点1クローラーはrobots.txtに従わないこともあるGooglebotはrobots.txtの指示に大半の場合は従うものの、ユーザーにとって有益と見られるページがDisallowされている場合など、設定ミスと思われるような指示であった場合、内容を無視することもあります。2ユーザーのアクセスは引き続き可能robots.txtはあくまで「クローラーに対するアクセス制限」を行うものであり、Disallowに指定してもユーザーは変わらずアクセスできます。ユーザーのアクセスも拒否したい場合は、別の手段を講じてください。いうファイル名をアドレスバーに入力すると閲覧可能できます。どのようなディレクトリが存在しアクセスが制限されているのかの情報は見えてしまいます。4重複コンテンツの対処としてはrobots.txtを使用しないrobots.txtで重複コンテンツへのクロールをブロックした場合、ブロックされた重複コンテンツが受けていた被リンクなどの評価をまるまる捨ててしまうことになります。重複コンテンツの対策についてはURL正規化のページを参考にしてみてください。robots.txtは比較的テクニカルな施策であり、実務では「どうしたらよいのだろう」となることもあると思います。お困りでしたら弊社のコンサルタントがサポートいたします。弊社は、戦略策定から実装支援まで一貫してサポートしております。その他の実績を見る関連キーワードURL正規化クローラーサーチコンソールSEO対策この情報をSNSでシェアしませんか?シェア00ツイートWebサイトの運用・集客でお困りではありませんか?デジタルマーケティング全般についてのご相談はこちら私たちが得意とするコンテンツマーケティングやSEOに限らず、Webの運営・改善に関する総合的な知見を持つ私たちなら、きっと御社の悩みを解決できると考えています。HACKSブログで大事にしている7つのマインド無料のお役立ちeBookダウンロードコンテンツマーケティングの具体的なノウハウを無料でご覧いただけます。SEOのお役立ち資料まで無料でダウンロードできます。資料をダウンロードするメルマガ登録SEO・コンテンツマーケティングを中心にWeb戦略に役立つ情報を週一でお届けします。