/robots.txtでやらかした!2014.03.11robots.txtでやらかした!Tweetrobots.txtの設定をミスって、ウェブマスターツールに「重要なエラー」って言われてしまいました。robots.txtってなんぞ?まず、robots.txtが何か、これを何のために設定するかを知らないと分かりづらいのですが、おおざっぱに書くと、このファイルでサイト内のロボットにアクセスされたくないページを指定することができます。検索サイトのロボットですね。クローラーともいいます。あとにサイト内のディレクトリやファイルを指定しておけば、ロボット避けになります。Allow:で拒否したディレクトリ内部を例外的に許可することもできます。一部無視するクローラーもあったりとか、他にサイトマップの位置を書いたりもするのですが、細かい書式などはググってくださいってことで、今回割愛(不親切設計)。robots.txtを何のために設定するか?さて、ではrobots.txtを何のために設定するか?基本的にロボットに見て欲しいページを指示するためなのですが......まず、前提として今のGoogleさんは内容の薄いページや同じ内容のページがたくさんあるのを好まない傾向があるのです。ダメページがあると、サイト全体の評価が下がります。1回でクロールしてくれる数には限りがあるようで、クローラーがリンクをたどってダメページに行ってしまうと、見て欲しいページに行ってくれる可能性が減ってしまいます。そんなわけでダメページをロボットサーチ拒否設定にしておくことでSEO的に有利になるというわけです。私の個人サイト程度ではおまじないにもならないくらいの効果だとは思いますが、ある程度アクセスの増えてきたサイトには多少の意味はあるようです。何やらかした?そんなわけで、このサイトの話ではないのですが、ドメイン直下とその下/BLOG/ディレクトリの2箇所にWordPressをインストールしたサイトがありまして、そこのサイトのrobots.txt設定でやらかしました。ドメイン直下のメインサイトではパーマネントリンク設定がデフォルトではないし、固定ページはそれぞれ名前を設定してあるのですが、/BLOG/の方は、パーマネント設定がデフォルトになったままです。(変えろよって話なんですが、初期からそのままになってまして......いまさら変えるのもという)。/wp-content/uploadsこんな感じのよくある設定をしました。WordPressはカテゴリーやらタグやら、やたら同じようなページを大量作成してしまう傾向があるので、いっそメイン記事以外の部分をDisallow設定にしました。/*?*と書いておきました。パーマネント設定を変えてあるので、WordPressのデフォルトでたくさん出来る「?」の入るページは要らないと判断して。ええと、この書き方だと....../BLOG/?*にも適用されるじゃないですか!(よく考えたら当たり前なんですが、しばらく気づかず(涙))WordPressのデフォルトのページ名はこんな感じですよね。/BLOG/?p=3939そんなわけで、パーマネント設定がデフォのままの/BLOG/のブログページがほとんどロボット拒否設定になってしまいましたとさ。ウェブマスターツールさんはこんなミスにもツッコミ入れてくれるんですね。ウェブマスターツールでrobots.txtの記述が正しいかを先にテストすることもできます。やらかし系SNSでもご購読できます。コメントをキャンセルコメント名前メールアドレス(公開はされません。date*「ひるね部ネットワーク対策室」インターネット・パソコン・iPhone関連のお役立ち情報。WordPressの話も。