6クローラーとは?検索結果にWebサイトを表示させる方法を徹底解説!SEO|更新:2019.10.09|公開:2019.08.15こんにちは。アクセス解析ツール「AIアナリスト」ライターチームです。今回は、SEOにおける基礎用語「クローラー」について解説します。自社のWebサイトが検索結果に表示されるためには、クローラーがサイトを巡回している必要があります。この記事では、基礎知識から、クローラーが巡回しているか確認する方法、検索結果にWebサイトを表示させる方法まで詳しく紹介していきます。Consoleで確認する方法クローラーに巡回申請をする方法サイト作成時の注意点まとめクローラーとは?クローラーとは、インターネット上を巡回し、Webサイト・画像・動画などのデータを収集・保存するプログラムのことです。GoogleやBingなどの検索エンジンごとに種類があり、「サーチボット」「検索ロボット」などとも呼ばれています。クローラーが巡回することは、「クローリング」と呼びます。クローラーは、インターネット上のすべてのファイルを収集・分析しますが、公開されて間もないWebサイトなどは巡回できません。このようなサイトは、検索エンジン側に存在が知られていないため、能動的なアプローチによるクローリングが必要です。各検索エンジンには、サイトを作成したことを知らせる機能が搭載されています。クローラーの仕組みクローリングされるとGoogleやBingの検索結果に、自分のWebサイト・画像・動画などが表示されます。検索エンジンに良質なコンテンツだと認められれば、自社サイトを上位表示することも可能です。クローラーがWebサイトをデータベース化し、検索エンジンの検索結果に表示されるまでの仕組みは、以下の通りです。検索エンジンのデータベースに登録されているWebサイトからリンクを辿るリンクからインターネット上を巡回し、クローリングするWebサイトに移動するWebサイトを解析し、収集した情報をデータベースに登録するデータベースに登録された情報をランク付けし、各ページの順位を決める検索エンジンが、各ページの順位に応じて結果を表示するクローラーは、上記手順を繰り返すことで、データベース内に情報を蓄積していきます。自社サイトの検索順位をあげたいなら、日々ページを更新し、最新の情報をクローリングしてもらうことが大切です。クロールされる対象クローラーはWEB上のコンテンツを、収集・保存することができます。クローラーの対象となるのは、以下のようなファイルです。TXTファイル(テキストファイル)画像ファイルFlashファイルCSSファイルJavaScriptファイルPDFファイルクローラーの種類クローラーの種類は、「Googlebot」と「その他のクローラー」に大別されます。Googlebotは、Googleの検索エンジンに利用されているクローラーです。世界中のインターネット上を巡回しており、膨大なデータを収集・保存しています。その他のクローラーには、マイクロソフトの「Bingbot」、中国最大の検索エンジン百度の「Baiduspider」、韓国の検索サイトNAVERの「Yetibot」などが有名です。中国の場合は、百度の他にも「360Search(Haosou)」「Shenma」など、複数の検索エンジンが稼働しています。Googleは世界40カ国において検索エンジンのシェア率がトップです。40カ国、主要検索エンジンシェア【PC、モバイル】そのため日本でSEO対策する時は、Googlebotを重視することになります。クローラーが巡回しているか確認する方法は?Webサイト・画像・動画を検索結果に表示させるには、ページがインデックスされている必要があります。インデックスとはクローラーが巡回することによって、データベースにページが登録・蓄積されることです。インデックスされていないページは、どれだけ良質なコンテンツであっても、検索結果には表示されません。そのため自社サイトを検索結果に表示させたい場合は、クローラーの巡回状況を確認することが大切です。以下で具体的な方法を紹介します。検索エンジンに「site:自分のサイトのURL」と入力し、検索をかける方法です。クローラーが正常に巡回しており、ページがインデックスされていれば、検索結果に自分のサイトが表示されます。通常の検索エンジンと同じ使い方で確認できるので、手間も労力もかかりません。Consoleは、クローラーの巡回状況を無料で計測してくれるツールです。Googleによって提供されており、トラフィック量や検索順位なども確認できます。webサイト上のトラブルをメールで通知してくれるなど、サポート体制も充実しています。Consoleでクローラーの巡回を確認する方法は、以下の通りです。Consoleでは、クローラーへ巡回申請を送ることができます。クローリングにはある程度の期間が必要なので、数日から数週間待ってから巡回の有無を確認しましょう。適切に申請され、Webサイトに問題がなければ、ページがインデックスに登録されます。Consoleを使って、クローラーに巡回を申請する方法は以下の通りです。Consoleにログインする検索窓に巡回を申請したいURLを貼り付ける未登録の場合、このような画面が出てくるので「インデックス登録をリクエスト」をクリックする巡回申請が完了していれば、この画面が表示される(URLはすぐに登録されないので、「インデックス登録をリクエスト済み」となっているかを確認する)サイト作成時の注意点インデックス登録はもちろん、SEO対策にはクローラーが巡回しやすいようなサイト構成にする必要があります。ページのリンクが切れていれば、クローラーがWebサイト内を巡回できなくなります。ページ内を移動できず情報を正確に把握できないと、検索エンジンに正確な情報を送ることができません。使いやすさの指標であるユーザビリティも低くなるため、サイトの質を保つ上でも問題です。そのためWebサイト内の巡回のしやすさを表した「クローラビリティ」という概念も重要視されています。Googlebotは、通常の文章は理解できますが、画像の中に書かれているテキストは理解できません。「美しさ」「悲しさ」などの感情は収集できないため、このようなファイルをインデックスさせたい時は、別途テキストで指定してあげる必要があります。このように、クローラーと言っても万能ではありません。Webサイトを作成するときは、「クローラビリティ」を意識したサイト構造を考えることが大切です。まとめクローラーはインターネット上のWebサイト・動画・画像などを、収集・保存するプログラムです。「サーチボット」「検索ロボット」などとも呼ばれており、検索順位の向上には欠かせません。以下の手順を経て、インターネット上のデータを、検索エンジンに登録します。データベースに登録されているWebサイトから、リンクを辿りインターネットを巡回するたどり着いたWebサイトを解析し、収集した情報をデータベースに登録する日本ではGoogleの検索エンジンが95%を超えているため、「Googlebot」を中心にSEO対策することになります。クローラーの仕組みと目的を理解して、Webサイトの運営に役立ててください。「SEO対策について詳しい施策がわからない」「自社内でSEO対策を取る工数が確保できない」という方には、弊社の「AIアナリストSEO」がおすすめです。AIアナリストSEOは、CV獲得に特化した記事コンテンツを安価で提供するサービスです。無料の資料請求からお気軽にお問い合わせください。INC.ページトップへ閉じる{{ctrl.invalidFormatErrorMessage(form)}}パスワードとパスワード(確認)が異なっています。入力したメールアドレスは既に登録されています。