16分クローラーを制御してクローラビリティを最適化する方法TweetPocketこの記事のタイトルとURLをコピーするWebサイト内のページを巡回していくクローラーをご存知ですか?このクローラーとは、Googleの検索エンジンにデータを登録(インデックス)するために情報収集を目的としたボットとも呼ばれるもので、主にインデックスされているページから外部・内部のリンクを辿って巡回していきます。サイト管理者としてはこのクローラーの最適化を行うこともまた必要であり、理由としては...不要なクロールを制御することで、重要なページを優先させて巡回させ、正しく内容を伝えることはもちろん、キャッシュを更新することで修正箇所などをすぐに検索結果に反映することも可能となります。(場合によってはクロールの申請も必要。)というのも、クローラーがしっかりとページの更新箇所など前回クロールしたデータとの差分がないかどうか?を正しく理解しなければ、インデックスにも反映されないため、当然公開されているページも古いままとなってしまいます。これは新しいサーチコンソールに実装されている“URL検査”を利用してインデックスを促すことも可能ですが、質の低い不要なページをインデックスした状態だと場合によってはサイト全体の質にも影響することから、重要なページを中心にクロールしてもらう必要があるというわけです。今回は、このクローラーの意味や考え方などについて詳しくご説明していきたいと思います。【キーワードツール】おすすめ&役立つ!目的別キーワードツール12選クローラーとは?まずクローラーとは、Web上の無数にあるサイト・ページをクロール(巡回)するボットのことを意味し、Googleのクローラーの場合だと情報を収集して各種検索クエリの答えとして相応しいコンテンツを200以上もの要素からランキングして検索結果に返しています。クローラーにはGoogleの検索エンジンに限らず様々なボットが存在し、BingやBaidu以外にもインターネットアーカイブといったWebページの過去をキャッシュしていくクローラーもあり、詳しくは後述しますが、こういった過去のキャッシュを残したくない場合は、ボットを指定してクロールのブロックといった制御を行う必要があります。Googleだけでも検索用のボット以外にも広告用や画像用、各種モバイルやスマホ用などのボットなどが存在します。ヘルプちなみに、アナリティクスの管理画面にはクローラーの巡回をひとつのアクセスとして計測しない設定があり、“設定”>“ビュー”>“ビューの設定”から指定することができます。※正しいアクセス解析を行うためにもチェックを入れておきましょう。このクローラーの制御を行うことによって検索エンジンが重要なページ、そしてその内容を正しく理解することにも繋がり、それによってコンテンツの評価としての順位変動に現れるということです。(クローラビリティが良ければ順位が上がるというものではありません。上記のように、しっかりと作り込まれたご自身のページは、クロールされることによって読み込まれ、データベースへと保存されなければ検索結果にも表示されることはありません。そのため、クローラ対策の基本は重要なページを優先的に巡回してもらうことです。それを行うためには“robots.txt”や“サイトマップ(sitemap.xml)”、さらに内部リンクの精査といった基本的な要素をしっかりと理解しておく必要があります。ちなみに重要なページというのは基本的にサイト内の全てのページであるべきで、しっかりとキーワード選定を行い、それに伴うコンテンツを作り込んであるページを指します。これに当てはまらないのならリライトなりコンテンツの改善を行うべきで、必要なければサイト全体の足かせとなってしまうため、削除または“noindex”を付与するようにしましょう。ここで例えば、どこからもリンクされていない状態の孤立したページがあったとします。そのページがいくら重要なページだったとしてもクローラーが巡回する手段がなければクロールもされることがありません。いうことは、いくら検索しても順位が付かない状態(インデックスされない)となってしまうわけです。ならないためにも重要なページに内部リンクを集めるといった手段が行われてきたわけですが、こちらについてもまた後ほど詳しくご説明します。キーワード選定におすすめのキーワードツールをご紹介しています。【キーワードツール】おすすめ&役立つ!目的別キーワードツール12選サイトに効果的なキーワード選定を行っていますか?キーワードを選ぶには検索ボリュームや難易度など...続きを見るクローラビリティとはでは、次にクローラビリティについてご説明していきたいと思います。言っても先ほどご説明したようなクロールの最適化のことを意味するわけですが、そもそもユーザビリティやアクセシビリティといった“(ability)アビリティ”とは能力といった意味を持ち、ユーザビリティの場合だと使い勝手などと捉えられるように、クローラビリティもクロールしやすい状態といった意味で広く使用されています。クローラー対策はクローラビリティを最適化させることが目的となり、検索される必要のない(インデックスされる必要のない)ページは予め削除しておくことも大切ですが、場合によっては申込みページなど必要なページもあり、そういったコンテンツには先ほどもご説明した通り“noindex”の付与やクロールさせないように指示しておくことも重要となります。その指示というのが、以下にご説明する“robots.txt”や“サイトマップ(sitemap.xml)”といったファイルによるもので、強制力のないものもあるので、“noindex”や極力内部リンクを設置しないといった対策が必要です。内部リンクの精査ではまず、内部リンクから考えてみましょう。先ほどもご説明した通りクローラーは外部リンク以外にも下記のようなリンクを辿って巡回してきます。グローバルメニューテンプレートに配置したアーカイブからのリンク記事内に添えられたテキストリンクフッター部分に表示された簡易サイトマップそして、その際重要となるのがアンカーテキストで、例えば“こちら”といった文字にリンクを設定していると...検索エンジンもその先に何が書かれているのか?伝わりにくい状態となってしまいます。それは検索エンジンだけでなく閲覧ユーザーにとっても同じです。いったクローラビリティを内部リンクから考える場合は、ユーザービリティにも考慮する必要があり、どこに何が用意されているのか?こういったユーザーの利便性に基づいた考え方で内部リンクを設置することを念頭に置いておけば、単純に重要なページ(上位化させたいページ)に内部リンクを集中させるといった施策にはならないはずです。そのため、内部リンクの基本的な考え方としては...関連する情報を提供してあげるということが大切で、今現在せっかく集中して読んでくれているユーザーに対して無理に広げたコンテンツを盛り込むよりも、「必要な方はこちらもご覧ください。」といったユーザーが疑問に思うかもしれない箇所に適宜リンクを設置してあげることが重要です。なれば、リンク前後の文脈も不自然になることもなく、クローラーは何らかの関連するコンテンツが存在するとして、そのリンクを辿ってインデックスしていくことでしょう。内部リンクについては他にもパンくずリストなど様々な要素が考えられるかと思いますので、さらに詳しくはこちらの「内部リンクとは?SEOに効果的な設置方法について」もぜひご覧ください。\効果的なキーワードを自動で取得!キーワードファインダー/リンクはアンカーテキストで続いて、クローラビリティを考慮するとリンクは画像ではなくアンカーテキストを使用するようにしましょう。いうのも、クローラーはあくまで機械ですので人間のように目視してコンテンツを把握していくわけではありません。そのため、リンクに含まれる内容は伝わりやすいテキストで設置するようにし、それによってその先にどういった内容のコンテンツがあるのか?クローラーにとっても伝わりやすくなり、関連するコンテンツの有無も理解することによって、あくまで推測ですが...詳しい執筆者・専門性の高いコンテンツといった評価にも期待できるかもしれません。クローラビリティとは単純にページ間の巡回だけでなく、正しく内容を伝えることも重要となるため、こういったリンクの設定や正しいタグの使い方も重要視するべきでしょう。>>無料で試してみる!/はじめはクロールを申請する上記のように、サイト・ブログをある程度運営していれば、調整する内部リンクも増えてくるかと思われますが、立ち上げた当初はクロールが巡回してくる術がありません。いった場合はクロールの申請をすることによって、ご自身のサイトの存在を検索エンジンに知ってもらう・見つけてもらうことになります。google”といった以前のサーチコンソールに実装されていた機能を使っていたんですが、新しいサーチコンソールになってからは“URL検査”といった機能を使用することとなります。これは本来、指定したURLのページが現在どういた状況なのかをチェックするもので、そこでインデックスされていないようでしたらクロールを促すこともでき、ページの内容に修正など更新された情報などがあっても再度クロールを申請することも可能です。Google”を利用するには?」もぜひご覧ください。不要なクロールを制御するでは、続いてクロールの必要がないページからクローラーの巡回を制御する方法についてご説明していきます。バジェットとは?」を参考にしてみてください。どちらにしても、正しくコンテンツ内容を伝えるためには、こういったクロールの最適化を行う必要があり、重要なページを優先的にクロールしてもらうことが理想となります。質の低いページがサイト内に存在することで、サイト全体の価値が下がる可能性も考えられるため、クロールが不要なページに関してはそもそも“noindex”など予め対応しておきましょう。キーワード選定に悩んでいませんか?関連記事キーワード選定を完全サポートする“キーワードファインダー”とは?需要があり、競合が多いキーワードで上位表示させることが難しい...と思っていませんか?なぜ様々な施策を行っても効果が出ないのかというと...続きを見るサイトマップ(sitemap.xml)による管理まず、クロールの制御を行うために必要となるのが“サイトマップ”で、閲覧ユーザーのために用意するhtmlページも内部リンクといった意味ではクローラビリティにもなるわけですが、ここではクローラー用にサイト内のページリストを記述する“sitemap.xml”のことを指します。クローラーはこの“sitemap.xml”というファイルに記述されているページ一覧を参考にサイト内を巡回してインデックスしていくわけです。そのため、クロールしてほしい重要なページを記述し、他には重要度や更新頻度も一緒に記述してサーバーにアップしておきます。必要のないページまでも記述する必要がないというわけですね。この“sitemap.xml”にはクローラーに対しての絶対的な強制力を持つわけではなく、あくまでヒントとしてサイト内を巡回するため、例えば内部リンクが少なく、クローラーが巡回する頻度が低い場合などに役立つファイルという意味もあり、場合によっては“noindex”や後述する“robots.txt”を併用してクロールの制御を行うことが重要となります。クローラーは内部・外部からのリンクを辿って巡回して行きますから、そういったクローリングによってインデックスさせたくない場合は“noindex”の付与が必要です。このサイトマップ(sitemap.xml)について詳しくは、こちらの「サイトマップを設置する理由とSEO効果について」もぜひご覧ください。次に、クローラーに対するクロールのブロック(または一部許可)を指定する“robotx.txt”というファイルについてです。こちらは、指示をするボットを“User-agent”によって指定し、ページ単位やディレクトリ単位でブロック“Disallow”、または許可“Allow”するタグを組み合わせてクローリングを制御します。(任意で“sitemap.xml”へのパスも記載。)ここで、なぜ許可を意味する“Allow”があるのかというと...基本的にはクローラーは全てのページを巡回していきますが、例えばブロックしたディレクトリがあるものの、その中の数ページだけはインデックスさせたい、という場合に“Disallow”と組み合わせて指定することで、クロールの動きを制御することが可能となります。この“robotx.txt”に関しては特にクローラーのブロックを指定する必要がなければ用意しなくてもかまいません。このrobots.txtの記述方方などについて詳しくは、こちらの「robots.txtとは?記述方法と効果について」もぜひご覧ください。まとめ今回は、検索エンジンのデータベースに保存するためにサイト内を巡回する“クローラー”についてご説明しました。このようにクローラーはサイト内のページの存在はもちろん、既存の保存データとの差分を認識し、新しい情報としてキャッシュを更新して検索結果に反映させていきます。そのため、サイトを管理・運営していくためにはクローラビリティの最適化も念頭に置くことが重要となり、トラフィックを右肩上がりで伸ばしていくためにはシンプルな階層が理想となるわけです。記事を増やせば増やすほどにトラフィックが減っていく...といった状況に陥らないためにも、しっかりとクローラーの動きを制御して、必要のないページに関しては削除や統合、または“noindex”によって対応するようにしましょう。可能!また、自動取得したキーワードは、ご自身のサイトだけでなく競合の順位も取得します。