クローラー(Crawler)とはクローラー(Crawler)とはTweetPocketクローラーとは、検索エンジンが検索結果を表示するためにWebサイトの情報を収集する自動巡回プログラム(ロボット)のことです。クローラーによって収集(=クロール)された情報はデータベースとして格納(=インデックス化)され、検索結果表示に利用されます。サイト本体を作るHTMLファイルだけでなく、PDFやExcelなど主要なアプリケーション形式のファイルも読み込みます。画像も収集しますが、alt属性や代替テキストで画像の内容を言葉で記述しない限り、クローラーには内容が認識されません。言うまでもなく、クローラーに認識されないと検索結果は表示されません。認識されるまでの期間が長いと結果表示までの期間も長くなります。人間であるユーザーと同じくらい、ロボットであるクローラーにもフレンドリーなサイトにしなければなりません。内容が近いコンテンツを分類し、同じディレクトリ(グループ)にぶらさげる重要なコンテンツは浅い階層に置くすべてのページに内部リンクを張るページ情報をまとめた「XMLサイトマップ」を検索エンジンに登録これらがクローラビリティに有効な施策となります。2.早く多頻度に巡回してもらう内容が充実したコンテンツの新設・更新を頻繁に行うことが基本です。Google(フェッチ・アズ・グーグル)」に登録する方法もあります。3.ユーザーにとって価値がないページをクロールしないように設定するSEO対策において、クロールが不要なページにはクローラーが回らないように、「robots.txt」で依頼することができます。クローラーは1回の訪問でサイト内の全てのページをクロールしているわけではありません。クローラーが1回の訪問でクロールするページ数(クロールバジェット)は、サイトのオーソリティによって変動しているため、そのクロールバジェットよりもページ数が多いサイトは、1回の訪問で全てのページがクロールされません。なると、検索エンジンにインデックスされるのが遅くなってしまったり、古い情報のまま更新されなかったりという事態に陥る可能性が高まります。このような状態になるのを防ぐために、robots.txtでクローラーを制御する必要があります。設定方法:robots.txtの書き方解説「クローラーを制御してインデックス効率化する」4.適切にクロールをブロックできているか確認するクロールしてほしくないページを依頼する方法は、metaタグ「noindex」など他にもあります。Googleでは「robots.txtテスター」で、意図通りにクロールをブロックできているかを確認することができます。Googleガイドラインを理解してペナルティを回避7月からChromeで全httpページに警告表示!常時SSL化”虎の巻”webマーケティングで実績のあるウィルゲートが運営する「プロモニスタ」では、webマーケティングご担当者向けの最新情報を随時お届けしています。Willgate,Inc.。