無料レポートDLSEO無料診断ホームブログクローラーとは?SEO対策を行う上で押さえておくべきポイントブログクローラーとは?SEO対策を行う上で押さえておくべきポイント2018/1/10ブログSEO全般TweetShare+1HatenaPocketfeedlyクローラーとは、Googleの検索エンジンをはじめとするロボットがいろいろなサイトの情報を集めるために使用しているもののことです。別名、Googlebotとも呼ばれ、ページを読み込み(クロールする)、サイト情報を収集格納(インデックス)することで、そのページを検索結果に表示するために必須の役割を担っています。SEOにおいて、検索結果に対策中のページが現れないことは致命的なので、クローラーが担う役割は覚えておいた方が良いと言えるでしょう。Consoleで行うクローラーはページをインデックスすることで、検索結果にページを表示させるという役割があります。クローラーがサイト内のどのページを読み込んでいるかについては、SEO対策において改善策を練るための指針の1つになります。Consoleの項目で確認が可能です。クロールエラーという項目では、クローラーがページをクロールした際のエラーの発生有無を確認することができる等です。クロールの統計情報という項目では、一日に何回クローラーがページをクロールしたかを確認することができます。Consoleを用いることで、クローラーの行動に関して詳細な情報を入手することが可能です。クローラー最適化を行う目的・必要性とクロールバジェットGoogleからすれば、クロールを行うにもリソースを消費するため、クローリングはGoogleにとってコストと言えます。Googleにはクロールバジェット(クロール上限値)というものが存在します。クロールバジェットとは、Googleが行うクローリングの上限値のようなものです。クロールバジェットを超える量の情報が存在する場合、クロールされないページが発生します。その場合、検索者に届けたい重要なページがクロールされなかったり、優先順位が低いページがクロールされた結果、サイト内に優れたコンテンツが少ないと判断され、評価が落ちてしまう可能性があります。このような場合は、クロールの最適化が必要といえるでしょう。クロールバジェットを超える量のページ数があるケースとは、データベースサイトやECサイト等、規格外の規模を持つ例外的なサイトのみと考えられています。従って、一般的な規模のコーポレートサイト等は、クロールバジェットを気にする必要は無いと言えます。一部の例外的な規模を持つサイトにおいては、優先順位をつけるために、クローラーの最適化が必要になります。最適化の方法とは、重要なページは確実にクロールさせる一方、検索者にとって重要ではないページをクロールさせないことです。これは、検索者にとって重要なページがクロールされなくなることを防ぐため、優先順位の低いページを後回しにするという意図に基づきます。Googlebotにはユーザーと同じコンテンツを見せるユーザーとGooglebotに異なるコンテンツを見せることは、Googleのガイドラインに違反します。(悪質なものはペナルティを課されることがあります)ユーザーが見えているコンテンツと同じものがGooglebotにも見えているかどうかを確認しましょう。確認方法としては以下のものがあります。agentをGooglebotに変更可能)なお、GoogleはGooglebotのユーザーエージェントは公開していますが、IPは公開していません。Googlebot一覧https://support.google.com/webmasters/answer/1061943?hl=jaどうしてもアクセス制限を行いたい場合はユーザーエージェントによる制限を行い、IPによる調整は極力避けることをおすすめします。繰り返しになりますが、ユーザーとGooglebotに同じコンテンツを見せるのが基本です。ユーザーには見えているのにGooglebotには見えないページ(たとえば404ページが表示されたり、Googlebotだけリダイレクトされてしまうなど)があったとすれば、そのページは検索結果に表れることはありません。“nofollow“とは、検索エンジンに対して、指定したページを読み込ませないための設定のことです。robots.txtで不要な領域全体へのクロールを禁止するrobots.txtとは、指定したページを検索エンジンに読み込ませないためのファイルのことです。“nofollow“と意味は同じですが、より範囲が広く、ファイル全体を読み込ませないようにすることができます。不要なページはインデックスさせないクローラーをブロックすることが難しい場合や適切でない場合は、noindexによってインデックスさせないよう指示したり、正規ページが別にある場合はcanonicalによる正規化を行うことができます。参考robot.txtとnoindexまとめクロールバジェットは余程の規模のサイトや、パラメータを用いた複雑構造等でない限り、大きく意識する必要はないと言えます。重要なページがクロール・インデックスされているかどうかは定期的なチェックをおすすめします。無料メルマガのご登録(無料)SEOの最新情報を無料でお届けします!メルマガのご登録、誠にありがとうございます。COO2006年株式会社オプトにてSEMコンサルタントとして、大手企業のリスティング広告の運用に従事。その後、サクラサクマーケティング株式会社に転職し、SEOコンサルタントとして、10年以上、100サイトの以上の顧客のWEBマーケティングのパートナーを担う。セールス、新規企画開発、アライアンスと幅広く従事し、2014年より取締役社長として会社を牽引。無料メルマガのご登録(無料)SEOの最新情報を無料でお届けします!メルマガのご登録、誠にありがとうございます。学ぶ】なぜ中小企業のWEBマーケティングは失敗するのか?vol.1:市場環境編サクラサクマーケティング株式会社の社長の根岸です。今回は中小企業ならではのWEBマーケティングが苦戦する理由を弊社の顧客、また弊社自身の事例から解説していきたいと思います。[...]...令和時代に活躍出来るWEBコンサルタントとして押さえておくべき4つのスキル初めまして。私がサクラサクマーケティングに入社してから4年。[...]...【SEO検証】オリジナル画像を使うと順位が上がるのか?サクラサクラボ事例を公開!記事などに画像を使用する際には、PIXTAやShutterstockなどの素材画像を使用することも多いかと思います。その他の記事を見るおすすめコンテンツSEO対策(検索エンジン最適化)とは?初心者にもわかりやすく解説しますSEO対策とは「検索エンジン最適化」のことで、数あるWeb集客手法の中でも、検索エンジンからの成果を最大化することです。[...]...コンテンツマーケティングとは?特徴と事例、社内でできる方法を解説しますここ数年で急激にコンテンツマーケティングという言葉を聞くようになりました。Editorカリフォルニアワインの世界サクラサクLABOでは、WEBマーケティングでもっとも重要な最新のSEO情報を提供しています。初心者の方からプロのコンサルタントの方まで、幅広くご活用ください。