コンテンツマーケティングSEO関連知識robots.txtに関する基礎知識と正しい書き方を解説2019.08.16サイト内部対策HOMEサイト内部対策robots.txtに関する基礎知識と正しい書き方を解説robots.txtについてご存知でしょうか?もし誤った使い方をしていると、評価してほしいWebサイトがクロールされず、SEOにおいて致命的な問題となる場合があります。今回はrobots.txtの意味と正しい書き方や設置場所について説明致します。この記事を読んで、robots.txtを設置・編集できるようになりましょう。関連記事robots.txt(ロボッツドットテキスト)って何?robots.txtとは、クローラーに対して、指定したページやディレクトリへのアクセスを制御するためのテキストファイルです。robots.txtはクローラーがサイトに訪れた際まず最初に見るファイルになるため、重要な記述をすることが多いです。用途としては、大きく分けて2つありますので、それぞれについて見ていきましょう。使い方1:指定したページやディレクトリをクロールさせない簡単に言えば、クロールのブロックです。クロールされることで低評価に繋がる可能性がある場合は、この使い方をしたほうが良いでしょう。具体的な例で言えば、「作成途中でまだ不備が残っているページ」などが挙げられます。使い方2:sitemap.xmlの場所を教えてクロールを促進するsitemap.xmlの場所をクローラーに知らせることで、効率よくサイト内を巡回出来るようになります。先ほど申した通り、robots.txtはクローラーがまず最初に訪れるファイルであるため、クローラビリティを向上させるsitemap.xmlの位置は必ず設置&記述するようにしましょう。用法をまとめると、余計なページがクロールされることを防止し、サイト内のクロールの効率を上げることです。同ドメインに対してクローラーが訪問するページ数には限りがあります。その中でより重要なページを多く訪問して評価してもらうことで、より上位の表示をねらうことがrobots.txtの目的です。次は、robots.txtを使用する際の注意点についてご説明します。誤った使い方をしてしまうと、低評価の原因になりかねません。robots.txtについてしっかりと理解しておきましょう。注意点は大きく分けて5点ありますので、それぞれについて見ていきます。注意点1:ユーザーのアクセスは制御できないrobots.txtはクローラーのアクセスは制御できますが、ユーザーからのアクセスは制御できません。ユーザーに見られたくないページがある場合は、非公開の設定やパスワードを付けるなどの対策を行いましょう。注意点2:制御できないクローラーもあるクローラーの中にはrobots.txtの命令を無視してブロックしているページをクロールするものも存在します。そのようなクローラーのアクセスを確実にブロックしたい場合は、.htaccessなど別の方法でブロックを行いましょう。注意点3:インデックスを削除するわけではないrobots.txtでクロールをブロックしても、インデックスは残りつづけます。インデックスを削除したい場合は、ページの削除やnoindexでの対応が必要です。「現状インデックスされていないページであれば、robots.txtを使ってインデックスを防げる」と考える人もいるようですが、結論から言えば、インデックスを防ぐことはできません。該当ページへのリンクがある場合、インデックスされる可能性があることをGoogleが公表しています。ヘルプhttps://support.google.com/webmasters/answer/6062608注意点4:ファイル名は「robots.txt」よくある間違いですが、「robot.txt」ではなく「robots.txt」が正しいファイル名です。同様に、「Robots.txt」となっている場合も正しく動作しなくなります。ファイルをアップロードする際には、1度ファイル名を確認することをお勧めします。注意点5:重複コンテンツの正規化には利用しないコンテンツが重複するページが存在する場合、「片方のページをrobots.txtでブロックすれば正規化できる」と考える人もいますが、これでは正規化は出来ていません。canonicalの設置や301リダイレクト、もしくは文章のリライトなどを行い、正しい方法で正規化を行いましょう。次にrobots.txtの書き方や設定方法についてご紹介します。robots.txtは特別なツールは必要ありません。パソコンにデフォルトで入っているメモ帳などの機能でも作成することができます。記載内容は大きく分けて4つあります。制御したいクローラーの名称を記入する箇所です。「*」(アスタリスク)と記入すれば全てのクローラーを指定することができます。指定したいクローラーの名称が不明な場合は、ネットで検索してみたり、アクセスログで確認したりしましょう。記載内容2:Disallow記載:必須でありませんクロールをブロックしたいディレクトリやページを記入する箇所です。※ディレクトリ(/directory-2/)内全てのページをブロック記載内容3:Allow記載:必須でありませんクロールを許可するディレクトリやページを記入する箇所ですが、Disallowでブロックしていない場所はクロールされるため、基本的は記載していなくても問題ありません。使用するのは、Disallowでブロック中のディレクトリ内の一部のページだけクロールさせたい等の場合です。記載内容4:Sitemap記載:必須でありませんsitemap.xmlのURLを絶対パスで記入する箇所です。sitemap.xmlが複数ある場合は複数記入可能です。http://blog.final-seo.jp/sitemap.xmlrobots.txtの設置場所についてrobots.txtを設置する場所は、サイトのルートディレクトリ(トップフォルダ)です。注意点の項目で1度紹介しましたが、ファイル名が「robots.txt」であることを再度確認してからアップロードすると安心でしょう。どのサイトもドメインの後ろにrobots.txtと入力すると、robots.txtにアクセスすることができます。自分のサイトでアクセスできない場合は、ファイル名や設置場所が間違えていないかどうか、確認すると良いでしょう。まとめrobots.txtは簡単に作成することができますが、誤った使い方をした場合、与える影響も大きくなります。書き方だけではなく、意味や正しい使い方を覚えたうえで、サイトのクロールを最適化するrobots.txtを作成しましよう。部門長2017年4月新卒として株式会社doubLeに入社。WEBデザイン、リスティング広告運用、SEO内部対策と幅広い分野の業務を経験し、2019年6月SEO部門の部門長に就任。ファイナルSEOブログの運用を担当し、「効果の出るSEO対策」を追及している。ソリューション事業部の元気印として日々奮闘中。本当に効果のあるSEO対策をしませんか?ファイナルSEOは運営10年以上の実績を誇り、日本全国の企業へ常に最先端のSEOソリューションを提供し続けてきました。その想いからファイナルSEOでは長期的に効果が持続する本質的なSEO対策に取り組んでおり、事実4,200以上の企業から選ばれています。WordPress.。