検索ボットやクローラーのアクセスを制御しようテクノロジーrebuildfmの@kosamariさん回で、Quoraのrobots.txtについての話題がありました。rebuild.fmそんなにすごいのかと気になったので、調べてみることにしました。実際のQuoraのrobots.txtがこちらです。/ajax/...なんとこの記事を書いた時点で、1233行もあります!1行ずつ解説することはできませんが、備忘録として内容を共有いたします。クロールの時間間隔を指定します。サイト内のページ一覧です。検索ボットのインデックスの促進を手助けします以下の「とある社会学屋の唯物論」様のページがとても参考になります。www.geek.scUser-agentrobots.txtのUser-agentでは、主に検索ボットを指定します。Quoraでは、きめ細やかに以下のサイトについて設定が書いてあります。Watson.Netvibes:https://www.netvibes.com/en調べるのに疲れたので、以下は割愛いたします。sosobotseznambotTeomaRelcybotPGBotLaserlikebotDisallowDisallowには、ボットやクローラーがアクセスしてほしくないページを記載します。以下のケースでは、Googlebotは「/ajax/」の下にアクセスしないでくださいという設定になります。/*/logアスタリスク(*)はワイルドカードで、正規表現のワイルドカードをイメージしてもらえると理解が進みます。AllowAllowには、Disallowで拒否されているけれども、その中でボットやクローラーがアクセスしても良いページを記載します。以下のケースは、ドメイントップと/aboutページはアクセスしても良い設定です。*」は、すべてのクローラーに対して発動する条件です。注意してほしいのは、これはあくまで検索ボットやクローラーに対する設定であり、ユーザーのアクセスをブロックするわけではありません。行儀の悪いボットやクローラーは設定を無視する可能性があるため、100%アクセスされないことを保証するわけではない点はご注意ください。Allowは書かなくても良いQuoraのサイトにはAllowが書いてありますが、実際にAllowを書くことは少ないです。Disallowされていないページ(ディレクトリ)は、自動的にクロールの対象になります。Disallowだけ書いておけば基本的には十分です。ログインユーザーしかアクセスできないマイページは、検索インデックスに登録しないでくださいといった設定を書きます。/mypage検索ボットやクローラーのアクセス制御は、サイトの負荷軽減に役立つサイト内のページ数が増えれば増えるほど、ボットやクローラーによるアクセスは増えます。私が以前担当していたとあるECサイトでは、ページ数が100万ページ以上ありました。1日のアクセスの1/3が、検索ボットだった日もあるくらいです。ボットからのアクセスは、適切にコントロールすると負荷を軽減することができます。それが「Crawl-Delay」です。ameblo.jpただし、ここまでチューニングが必要はケースは多くありません。「Crawl-Delay」に書いてある数値の解釈の仕方によって、ムラが発生する場合があります。基本的には、行儀の悪いボットに対して決め打ちで指定するような使い方になるかと思います。私のブログは「はてなブログ」で運営してますが、robots.txtを見るとサイトマップがあります。https://www.konosumi.net/sitemap_index.xmlサイトマップには、サイト内にあるページの一覧を記載します。目的は検索インデックスの促進です。検索ボットがページを見つけやすくするお手伝いをすることで、検索エンジンからのサイト流入を増やす狙いがあります。実際のSEOでは、robots.txtのサイトマップに加えて、検索エンジンが用意している検索順位の改善ツールを併用することが多いです。Consoleでも、サイトマップを登録することができます。https://search.google.com/search-console/about他のサイトのrobots.txtを見てみようrobots.txtは公開されてますので、自由に見ることができます。興味がある方は、色々なサイトのrobots.txtを開いてみると参考になるかと思います。www.geek.scさいごにWEBエンジニアであれば、robots.txtについて知っておくことをオススメします。サービスの管理画面は検索エンジンに登録する必要はありませんし、また登録されたくもありません。検索エンジンに登録されたくないページがインデックスされてしまうトラブルを、未然に防ぐことができるからです。言うなれば、robots.txtは検索ボットやクローラーに対して、指示出しを行なうためのツールです。―Webマーケッター瞳の...2018-06-16はてなブログの独自ドメインにおけるHTTPS(SSL)化の設定方法と、実装の技術解説このすみです。〜なめこで学ぶブラウザ拡張〜こんにちは。はてなブログProWEB系エンジニア。ブログで趣味の映画・ゲーム・読書の感想を書いたり、技術系の知見を共有しています。技術書典7にサークル参加して、技術同人誌を頒布しました。BOOTHに電子版があります。(1)月別アーカイブスポンサーリンクはてなブログをはじめよう!konosumiさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。