TOPSEOrobots.txtファイルの使い方や記述方法を解説しますrobots.txtファイルの使い方や記述方法を解説します最終更新日:2013-01-13SEOツイートrobots.txtファイルとは、検索エンジンのクローラー(Googlebot等のスパイダー)に対してサイト巡回の制御を行うファイルです。robots.txtファイルを記述することにより比較的簡単にクローラーの巡回を許可するページや巡回されたくないページを指示することができます。サイトの全体や一部にロボット避けを施したり、XMLサイトマップの場所を記述する時に利用します。今回はrobots.txtファイルの使い方を解説します。metaタグとの違い注意点robots.txtファイルとはクローラーとはウェブサイトの情報を収集するために自動で巡回しているロボットです。クローラーは検索エンジンのものばかりとは限りませんが、主に検索エンジンが走らせているボットのことを指します。クローラーはサイトにアクセスする際、robots.txtファイルが存在するならば、そこに記述されている制御を巡回するページを決定します。robots.txtファイルでURL、ディレクトリ等へのクローラーのアクセスの制御を行う時に利用します。どのページへもアクセスしないように記述することもできますし、「このディレクトはアクセスしちゃダメだけど、こっちはOK」といった制御も可能です。robots.txtファイルが設置されていても、クローラーがそれに従うかどうかはわかりません。紳士協定のようなものです。GoogleやBing等の一般的な検索エンジンのクローラーはrobots.txtファイルに記述された指示を守りますが、お行儀の悪いクローラーはrobots.txtファイルを無視してクローリングすることもあるかもしれません。ロボット避けの制御を必要としない場合はrobots.txtファイルを設置する必要はありません。robots.txtファイルにXMLサイトマップをアップロードしている場所を記述しておくことにより、通常のクローリングでは検出が難しいURLの発見に役立ち、サイトに存在する全てのURLを検索エンジンに伝える事ができます。robots.txtファイルの設置方法robots.txtファイルはドメインのルートディレクトリに設置する必要があります。robots.txtという名前のテキストファイルを作成するだけです。OKな設置例:http://example.jp/robots.txtダメな設置例:http://example.jp/hoge/robots.txtつまり、サブディレクトリ型のレンタルウェブスペースに設置されているサイトでrobots.txtファイルを使うことはできません。metaタグを使用するしかありません。metaタグ(noindex,nofollow,noarchive)の使い方なお、robots.txtファイルはクローラーが巡回をして取得して反映させるまでにタイムラグがありますので、robots.txtファイルに新たに記述を行なってもすぐに反映されるわけではありません。ブロックしたいコンテンツが前もってわかっている場合は、あらかじめrobots.txtファイルでクローラーにブロックしたいURLを伝えておいたほうが無難です。大文字と小文字の間違いに注意User-agent:指示を与えるクローラーDisallow:拒否Allow:許可ワイルドカードとURL末尾のパターン一致Sitemap:XMLサイトマップの設置場所の指定XMLサイトマップが設置されているURLを指定します。クローラーは取得したXMLサイトマップに記述されているURLを、クロールするURLのリストの中に加えます。http://example.jp/sitemap.xmlUser-agent:指示を与えるクローラーUser-agent:で指示を与えるロボットを指名します。*と記述すると、全てのクローラーに対して今から命令を行いますという宣言になります。Googlebotと記述すると、Googleのクローラーに対して命令を行うことができます。Googlebot-Imageと記述すると、Google画像検索用のクローラーに対しての指示が行えます。大文字と小文字の違いを認識します。/TEST/こちらの場合、http://example.jp/TEST/へのアクセスを禁じます。大文字のURLを使っている方はほとんどいらっしゃらないと思いますので、小文字を使うようにしましょう。Disallow:拒否クローラーを拒否します。/test/上記の記述ですと、全てのクローラーは/test/ディレクトリとそれ以降の階層にアクセスしないように指示します。Allow:許可Allow:は許可という意味になります。Allow:はDisallow:よりも優先されます。通常、Disallow:で拒否したいディレクトリ等を指定するのですが、一部許可したいものを指定するのに使います。/item/best-collection/http://example.com/item/best-collection/をクロールさせたいが、http://example.com/item/やhttp://example.net/item/worst-collection/等はクロールを禁じたい場合の例です。上記の記述を行うことにより、/item/ディレクトの中身とそれ以降のディレクトリへのクローラーのアクセスを禁じていますが、/best-collection/へのアクセスは許可できます。/*.pdf$*はワイルドカード指定です。hoge.pdfであっても、test.pdfであってもクローリングを禁じることができます。$は末尾のパターンを一致させる記述です。.pdfで終わるURLへのアクセスを禁じます。metaタグとの違いrobots.txtファイルで制御しても検索結果に表示されることがあるrobots.txtファイルはクロールを制御するタグです。指定されたURLにアクセスすることはできません。アクセス出来ないわけですから、インデックスすることもできません。思ったら、少し違います。インデックスはされないけれども、検索結果に表示されることもあるんです。上記のような表示になり、SERPsに出現しています。robots.txtファイルで制御した場合、クローラーは指定されたURLにアクセスできませんし、当然、インデックスもできませんが、検索エンジンはそこになんらかのファイルが存在していることは知っていますので、検索者にとって必要だと感じればSERPsに表示させます。metaタグを使うか、X-Robots-Tagを使います。metaタグとrobots.txtファイルを併用してはいけません。クローラーはrobots.txtファイルの内容を優先します。metaタグを読み込めない上記のような順序で処理されてしまいます。metaタグを用いて確実に検索結果で非表示にさせたい場合は、robots.txtファイルでクローラーの巡回を許可させましょう。タグを記述したページは検索エンジンには表示されません。検索エンジンはページの情報を取得していますし、クローラーはそのページに張られたリンク先へも移動します。metaタグ(noindex,nofollow,noarchive)の使い方の記事で解説していますが、noindex,followが記述されていも、クローラーは記事の情報を取得しますし、その先に移動もしますが、検索結果には出さない(非表示にしてくれる)といったイメージです。robots.txtファイルでブロックしているページが被リンクを獲得しても、クローラーはアクセスできませんので、ページランクの受け渡しができません。metaタグが記述されているページが被リンクを獲得した場合、そのページに含まれるリンク先にページランクの受け渡しが行えます。外部リンクに限らず、内部リンクの受け渡しや、クローラビリティの向上にも使えますので、robots.txtファイルを使うよりもメリットが多くなることも多いです。metaタグを用いることが推奨されています。注意点robots.txtは使い方を誤ると、サイト全体のトラフィックを大きく減らしてしまう可能性があります。使う際には十分に注意して使いましょう。hnタグ(h1~h6)を正しく使い階層構造をもたせようリストタグ(ul,ol,li)の使い方と解説。あと、robots.txtを設定するか。これらの方法をしても、無視してクロールしてくる検索エンジンもあります。SEOのホワイトハットジャパンさんの記事で詳しく記載されていたのでで引用します。更新が途絶えたサイトの検索アクセス数は減るのかSEOのホワイトハットジャパンの今後の更新について競合の多い分野でコンテンツのみで上位表示させた事例やGoogle画像検索の上位表示等4記事WordPressとTwitterを連携させて記事の更新を自動でTweet投稿させるプラグイン海外ドメインを使う際の注意点やGoogleが行うサイト評価等4記事alt属性の使い方と考え方やGoogle検索とYahoo検索の細かな違い等5記事アクセス上げ止まりの予感。(1)当ブログで使っているSEOテンプレートhttps://www.seo-keni.jp/SEOのホワイトハットジャパンで現在使用中のWordPressテーマがこの賢威7です。現在のGoogle検索エンジンのSEOではソースレベルの構造やマークアップの最適化効果は、以前に比べればさほど高くありません。自分が一番気に入ったデザインのテーマや、使いやすいテーマを使用するのが一番です・・・といいたいところですが、2017年の現在のSEOでも、テンプレートレベルの内的SEOで大きくアクセス数が変わってくることも珍しくないというのが実情です。普段から自分の手持ちの様々なサイトや、お客様のサイトを多数触っていると、テンプレートの変更でアクセスが変化することは珍しくはないと感じています。賢威は私の管理している様々な別サイトでも使っています。賢威の他にも良いテンプレートはたくさんあると思いますが、賢威は私の知る中で安心して使い続けられるとってもお気に入りのテンプレートなのです。Googleがもっと進化すれば、どんなテンプレートを使っていようがコンテンツ次第でアクセスは決まるという時代がやってくることでしょう。そんな時代がやってくるまでの間、優れたテンプレートを賢く利用するのも一つの最適化と言えるのではないでしょうか。description)の使い方ペンギンアップデートからのリカバリは困難。