フォローしましたインターネットの世界では検索エンジンを始め、SEOツールなど多種多様な目的でクローラーが徘徊し情報を収集しています。法律の専門家ではないので正しい解釈ではないかもしれませんが、ウェブ上でクローラーがコンテンツを収集するスクレイピング自体は問題ありません。以前、某図書館の蔵書検索システムを使いやすくするためのシステムを開発した方が逮捕されるという事件もありましたが、最終的に不起訴となりました。ウェブ運営者がクローラーへ向けた対策としてrobots.txtというものがあります。robots.txtにクロールを拒否する命令を記述するというものです。robots.txtの内容はあくまで指示にしか過ぎません。クローラーによってはrobots.txtの指示に従いません。参考までにGoogleのヘルプにも注意が記載されています。ファイル内の指示は、サイトにアクセスするクローラの動作に対し強制力はなく、サイトにアクセスするクローラへのディレクティブとして機能します。ファイルの指示に従いますが、他のクローラも従うとは限りません。そのため、ウェブクローラから情報を継続して保護するには、サーバー上の非公開ファイルをパスワードで保護する方法など、他のブロック方法を利用することをおすすめします。ファイルについてhttps://support.google.com/webmasters/answer/6062608感情的に考えると「おかしいではないか」と思います。法律的な解釈として正しくないかもしれませんが、robots.txtに従わないといけないという法的な根拠はないようです。(会員制コンテンツは利用規約に従います。パスワードで制限しているページは作者の許諾が必要となるようです)そもそもクローラーはrobots.txtを見ているのか?前置きが長くなりましたが、robots.txtに従うかどうかという以前に、そもそもrobots.txtを見ているのかどうか気になりました。従う気があるのならrobots.txtを見ないといけません。対策前の情報収拾としてSEOツールをはじめどのクローラーが行儀の良いのかを調べてみました。調査期間は1ヶ月です。わかりやすくするために2017年1月1日〜31日に調査しました。以下準備を施しました。Alanyticsで「robots.txt」へアクセスしたセッションとそうでないものをセグメントした正しい計測ができているはずです(細かくは割愛します)。その結果がこちらです。robots.txtを見ているセッションと見ていないセッションの差が一目瞭然です。このように多くのセッションでrobots.txtを見ていませんでした。当日内であれば改めてrobots.txtを見る必要がないかもしれないので、全てのクロールでrobots.txtを見る必要はないかもしれません。この辺はサービスごとに考え方が異なるでしょう。クローラー別のrobots.txtアクセスではクローラー別に見てみましょう。長くなるので上位10位まで公開します。Googleやbing、米Yahoo!、Yandexなどの検索エンジンは定期的にrobots.txtを見ています。意外だったのはMajesticやAhrefsといったSEOツールがrobots.txtを見ていることです。ルールに従う意思があるのでしょうね。MajesticやAhrefsにはクローラー対策ができそうです。スマートフォン用のGooglebotはrobots.txtを一切見ません。この結果には驚いているのですが、おそらく現状がデスクトップファーストでモバイルはセカンドプライマリだからかと推測します。いってスマートフォン用のGooglebotを拒否できないとは考えづらく、おそらくウェブ検索用のGooglebotを拒否すれば同時に従ってくれるのではないでしょうか。そのための実験をする意思がないので確実なことは言えませんが。モバイルファーストへ切り替わった場合は動きが入れ替わるように感じます。その時は「スマートフォン用のGooglebotしかrobots.txtを見ないのでは?」と推測します。このnoteは株式会社Webの間のコラムの転載です。オリジナル記事はこちら。[SEOクローラー対策]どのクローラーがrobots.txtの指示を無視しているのか?ダウンロード#SEO#検索#クローラーこの記事が気に入ったら、サポートをしてみませんか?気軽にクリエイターを支援できます。サポートをする「スキ」を押してクリエイターを応援しよう!4Webの間(SEO・ホームページ制作)SEO・ホームページ制作を業務とします。クローラビリティを考慮したサイト設計が得意。Console(サーチコンソール)検索アナリティクス2Webの間(SEO・ホームページ制作)noteがやるべきSEO対策を調査しました56Webの間(SEO・ホームページ制作)実験も兼ねて弊社の過去記事をnoteに投稿しました。https://note.mu/webnoma/n/n566f7c6d6134?creator_urlname=webnomaこの記事が入っているマガジンクローラビリティ主に検索エンジンのクローラー向けの記事です。執筆はWebの間です。