『検索エンジン最適化の初心者ガイド』改訂版#8-1robots.txtやmetaタグを使って、検索エンジンのクロールなどを制御する方法を解説する。noteで書くこの記事は、『検索エンジン最適化の初心者ガイド』をセクションごとに書き直していく過程のエントリだ。この構想については、概要を見てもらえば、もっとよくわかるだろう。アクセス解析データをどう活用するか検索エンジンが提供しているウェブマスター用ツールの紹介アクセスしやすいサイトやコンテンツをウェブマスターに作成してもらおうと、各主要検索エンジンは、サポートや参考資料に重点をおいたサービスの拡充に努めてきた。検索マーケターにとっての価値はサービスによってさまざまに異なるが、どれもみな理解しておく価値はある。これらのツールが提供してくれるデータポイント、および検索エンジンと情報をやり取りできる機会は、他では絶対に入手できないものだ。この記事では、主要な検索エンジンが対応している一般的なロボット制御要素を挙げ、それらが役に立つ理由を概説する。これらの各要素については、それぞれのブログ記事の根拠となる詳細な説明がふんだんに存在するが、このガイドの目的に沿うよう、最も重要で価値ある部分だけを説明していこう。一般的な検索エンジン制御プロトコルサイトマップサイトマップは、あるWebサイト上にあるすべてのページを、一定の形式に則って表わしたリストだ。サイトマップは、検索エンジンがそのサイト上にある全Webページを簡単に見つけ出すのに役立てたり、各ページに相対的な重要度を割り当てたりする目的で使われる。サイトマップのプロトコル(sitemaps.orgで詳細に説明されている)は、3種類のファイル形式で記述できる。Language」の略(推奨フォーマット)長所これはサイトマップで最も広く採用されているフォーマットだ。XMLは検索エンジンにとって構文解析が非常にしやすく、これを生成してくれるサイトマップ生成ツールはたくさんある。ページに対するパラメータを最も細かく調整できる。短所ファイルサイズが比較的大きいこと。XMLでは、要素すべてに開始タグと終了タグを必要とするから、その分ファイルサイズも大きくなる。長所メインテナンスがやりやすい。RSS形式のサイトマップでは、簡単なコード記述により、コンテンツが新しく追加された際に自動アップデートできる。RSSはXMLをベースにしたフォーマットだが、アップデート機能という特性を持つために、実際にはXMLよりも管理がはるかに困難だ。Txt:テキストファイル長所非常に扱いやすい。テキスト形式のサイトマップは、1行につき1つのURLという形式で、5万行まで扱える。短所メタデータをページに追加する能力がない。サイトマップは、主な検索エンジンに直接送信することも、その所在を「robots.txt」で指定しておくこともできる。robots.txtrobots.txtファイル(ロボット排除プロトコルの一種)は、Webサイトのルートディレクトリ(例:サイトが「www.google.com」ならば「http://www.google.com/robots.txt」でアクセスできる場所)に保存しておかなければならない。robots.txtファイルは、自動化された訪問者(Webロボット、ボット)のためのアクセスガイドとして機能する。これを用いると、ウェブマスターは、ボットにクロールしてほしくないサイトのエリアを指定できるほか、サイトマップファイルの所在(後述)やcrawl-delayパラメータを示すことができる。使えるのは、以下のコマンドだ。Disallow:robots.txtに従うロボットが特定のページまたはフォルダにアクセスしないようにする。Sitemap:Webサイトのサイトマップの所在を示す。Crawl-delay:ロボットがサーバーをクロールできる速度を(ミリ秒で)示す。Toolsで設定することになる。/sitemap:www.example.com/sitemap.xml※注意:非常に重要な留意点がある。すべてのウェブロボットがrobots.txtの内容に従うわけではないということだ。悪意のある人物(たとえばメールアドレスをかき集めるスパム業者)が、このプロトコルに従わないボットを作成し、極端な場合、それを使って個人情報の所在を突きとめることもある。したがって、管理セクションや、だれでもアクセスできるWebサイトの非公開セクションの所在は、robots.txtに記述しないことをお薦めする。その代わりに、これらのページは、メタタグ(meta要素)によるロボット制御(次項で説明)を利用して、注意が必要なコンテンツをインデックス化しないよう、主な検索エンジンに指示できる。robotタグは、検索ロボットにページレベルで指示を与え、各ページのインデックス化からスニペット(検索エンジンが提供する抜粋)使用まで、さまざまなことを制御できる。メタロボットタグは、HTMLドキュメントのヘッダー部(head要素内)に置かなければならない。</body></html>「ロボット名を指定」の部分にウェブロボットのユーザーエージェント名(例:Googlebot)を指定するか、あるいはすべてのロボットを対象とするためにはアスタリスク(*)を指定する。「属性値を指定」には下表のmeta列にある属性値のいずれかを指定する。※meta要素で指定できる内容は、HTTPレスポンスヘッダーに「X-Robots-Tag」として含められる。HTTPヘッダーを使う場合はロボット名を指定できない。rel="nofollow"nofollowは、主な検索エンジンすべてがサポートしている一般的なインラインパラメータだ。これをリンクに追加すると、リンクジュース(ランキング決定の要素になる)を他に渡さないようにできる。robotにはrobots.txtに関して、さらに広範なすばらしい情報ページ「自分のWebサイトに対するロボットのアクセスを制御する方法」がある。プリントアウトして手元に置いておくのなら、SEOmozの「SEO基本技術のチートシート(トラの巻)を作ってみた」がお薦めだ。掲載された以下の記事を日本語訳したものです。最近(過去90日間)の記事で、Facebookの「いいね!」が多かった記事をお見逃し無く。ネット広告への強い嫌悪感、テレビや新聞の倍以上に。いいね!伝説のTwitter企業アカウント“中の人”の先駆け。いいね!「おもてなし」は思考停止ワード。いいね!私は変人コレクター。いいね!続き最新のニュースデジタルによる「仕事の自動化」、日本は無関心な人が主流。“スキル不足PM・名ばかりPM”問題、サポートや教育が足りない企業側に原因?【ネオマーケティング調べ】アマゾン日本事業の売上高は約1.7兆円【Amazonの2019年実績まとめ】アドビが「Photoshop」デスクトップ版と「iPad」版に新機能を追加、誕生30年の記念で「おもてなし」は思考停止ワード。Patterns』を3名様にプレゼント!【受付終了】企業がDXに向かう取り組み方を考える『デジタルファースト・ソサエティ』を3名様にプレゼント!すべて見るインフォメーションWeb担のメルマガを購読しませんか?Web担の記事がコンパクトに毎週届くメールマガジン「Web担ウィークリー」は、10万人が読んでいる人気メルマガ。忙しいあなたの情報収集力をアップさせる強い味方で、お得な情報もいち早く入手できます。編集後記サイトマップFAQ(よくある質問とその答)Web担に広告を掲載しませんか?購読者数10万人のメールマガジン広告をはじめとする広告サービスで、御社の認知向上やセミナー集客を強力にお手伝いいたします。