2018年9月4日SEOにおける「生ログ」分析のススメウェブサーバの「生ログ」とは?ウェブサーバのアクセスログやエラーログ、いわゆる「生ログ」と呼ばれているものをご存じでしょうか?あるいは実際に見たことはあるでしょうか?例えば以下のようなものとなります。(IIS)、Nginxなど)によって形式が違いますし、また自分で自由にカスタマイズもできますので、上記の通りであるとは限りません。「こんなもの」というイメージとして捉えてください。※「xx.xx.xx.xx」は、実際はIPアドレスなどになります。セキュリティとプライバシーを考慮し、伏せ字としています。ウェブサーバは、どこからかリクエストがあるたびに、そのリクエストの詳細や結果を、上記のようなログファイルに保存して記録しています。その内容をよく見てみると、以下のような情報が含まれています。)バーチャルドメインを設定して、1台のウェブサーバで複数のサイトを運用している場合もあるので、ログ上でもドメインを明記していることが多いです。)この場合は、/column/marketing/google-optimize-additionalfunctions/に対して、GETリクエスト(ページの取得)があった、ということになります。)リクエストに対して、サーバーが返したレスポンスコードです。)直前に閲覧していたページのURLです。)ブラウザなど、ウェブサイトにアクセスする際に用いられたプログラムです。ハードウェアの情報が含まれることもあります。そのリクエストがgooglebotなどのクローラーによるものかを判別する際には、このユーザーエージェントを確認します。※Googleのクローラーのユーザーエージェントについては、以下のページにまとめてあります。)どのようなエラーが発生したかを判別することができます。例示した「AccessExceededNumber」はアクセスが制限数を超えてしまった場合に出るエラーです。インターネットが普及しはじめた、1990年代後半の頃は、ウェブサイトへのアクセス状況を把握するためには、サーバーのアクセスログを分析するのが主流で、そのためのツール(analogなど)も多く開発されていました。Analyticsなどを利用するのが一般的だと思います。そのため、ウェブサーバのアクセスログやエラーログを直接分析することは、今ではそう多くはないでしょう。この「生ログ」は、ウェブサーバへのリクエストとレスポンスが逐次記録されたものであり、情報の宝庫なのです。WebMeUp(http://webmeup.com/)といったサービスサイト、または学術・研究機関のクローラーの行動も詳細に把握することができます。自社で何らかのAPIを外部に提供している場合、そのAPIへのアクセス状況を生ログを通じて把握することも可能です。Consoleの「クロールの統計情報」を見ると把握することができます。※クロールの統計情報については、弊社のブログでも以前とりあげました。下記URLを参照ください。https://www.principle-c.com/column/seo/seo-crawl-data/一方で、クロールの統計情報の画面からは、クローラーがウェブサイトのどのページをクロールしたのかを把握することはできません。Consoleに追加された「URL検査ツール」を使えば、特定のURLがいつクロールされたのかを把握することもできますが、「クローラーがどのページ/ディレクトリ/テンプレートを多くクロールしているのか」を把握するには、このツールでは不十分です。※URL検査ツールhttps://support.google.com/webmasters/answer/9012289?hl=jaウェブサイト管理者にとって、自分のサイトがどれくらいの頻度クロールされているかを把握することは重要ですが、そのクロール頻度がページ/ディレクトリ/テンプレートごとに集計できるなら、サイトのアクセス改善の施策を構築する上で、非常に有用な情報となります。クロールして欲しいページへのクロール頻度が不十分なら、それに対してのアクションが必要となりますし、その逆に、不必要なページが頻度高くクロールされているなら、また別のアクションが必要となります。生ログを取得して、例えばそのデータをExcelやTableauを用いて集計し、クロール頻度をページ/ディレクトリ/テンプレートごとに把握できるのであれば、本当に必要な対策を構築することが、可能となるのです。例として、ある特定の日にGoogleのクローラー(googlebot)がアクセスしたページをテンプレートごとにグループ分けし、更にその際にサーバーが返したレスポンスコードを、Tableauを用いて集計した図を下記に示します。円グラフの円が大きいほど、そのテンプレートが多くクロールしていることとなります。ここでは一覧ページAと詳細ページAが多くクロールされていますが、それに対して一覧ページBと一覧ページCのクロール量は少ないです。それが望ましいのか、あるいは望ましくないのかによって、次にとるべきアクション(送信するXMLサイトマップの構成を見直したり、ページ間のリンク構造を見直したり、など)は変わってきます。サイトのリニューアルがあってリダイレクトの設定をした際に、それが正しく機能しているかなどの確認も、生ログを用いれば網羅的に行うことができます。先の図では、一覧ページAと詳細ページBにおいて301のレスポンスコードが多く返されているのが分かります。それが意図的であれば問題ありませんが、そうでないのであれば、何らかの対処が必要となります。Frogなどのクローリングツールを使用する必要がありますが、生ログがあれば、実データをもとにした網羅的な調査・確認が可能となるのです。クロールエラーの詳細を把握できる一方で生ログは、「クロールエラー」の詳細を把握する際にも有用です。Consoleのインデックスカバレッジレポートには、様々なクロールエラーが報告されています。これらのクロールエラーは、そのすべてに対処が必要という訳ではありませんが、クローラーの動作、ひいてはユーザーのサイトの利用を妨げている可能性がありますので、数が多かったり、ECサイトにおける商品詳細ページなど、サイトにとって重要と思われるテンプレートに集中しているエラーは、早期に解決することが重要となります。レポートhttps://support.google.com/webmasters/answer/7440203?hl=jaただ、いざエラーを解消しようとしても、その原因がなかなか分からない場合があります。タグが追加されています」などは、noindexタグを含むURLをサイトマップから削除するか、あるいはnoindexタグが誤って挿入されているのなら、それを解消すれば問題は解決します。クロールに問題があります」などのエラーは、HTMLのソースに問題があるとは限らず、サーバー側に何かしらの問題がある場合もあります。そのような際に、生ログは非常に有用な情報源となります。生ログには、クローラーがウェブサーバにリクエストを送った際の日時やURL、レスポンスコードの情報が含まれています。これらの情報を分析することで、エラーの詳細を把握することができる可能性があります。クローラーのレスポンスコードを時間帯ごとに集計したときに、特定の日時に5xxのレスポンスコードが集中していたのなら、その時間帯に何か問題があったと考えることができます。特定のURLでのみエラーが起きているのなら、そのURLに原因があると推察することもできます。レポート上で確かにエラーとして報告されているのに、そのURLをクローラーがクロールした形跡が生ログ上にないのなら、そもそもクローラーからのリクエストをサーバーが処理できなかった(海外からDDoS攻撃があり、サーバーレスポンスが一時的に低下していた、などの)可能性も出てきます。Consoleで報告されている以上の情報を入手したいなら、生ログにあたってみることをまずはおすすめします。ウェブサイトが攻撃を受けたとき、その原因や対象方法を調査することができる最後はSEOとはあまり関係がありませんが、ウェブサイトにとっては重要な問題です。あなたが管理しているウェブサイトに対して、どこからか継続的な攻撃(例えばページをひたすらリロードするF5攻撃や、サーバーダウンを狙うDDoS攻撃)があったり、あるいは最悪にして、何らかのバックドア(サーバーに侵入するための裏口)を設置されて、ウェブサイトが改ざんされてしまった場合、あなたならどうしますか?このような事態に遭遇した場合、私が考える最善な方法は専門の業者を頼ることです。世の中にはサイバーセキュリティに対する専門家がたくさんいます。攻撃の手口が多様化し複雑化している現在、個人でできることには限りがあります。問題が深刻なら、まずは専門家に相談することをおすすめします。専門家に依頼する場合、まずはサーバーの生ログの提供を求められることが多いでしょう。生ログには、ウェブサーバがどのような攻撃をうけているか、どのようにしてバックドアが設置されたかの形跡が、くっきりと残っていることが多いからです。このブログの最初にお見せしたエラーログは、弊社のウェブサイトが実際に海外のとあるIPアドレスから攻撃を受けていた際のエラーログです。この時は、特定のIPアドレスから大量のリクエストがあり、サーバーのレスポンスが極端に落ちてしまいました。このような場合は、そのIPアドレスからのアクセスをブロックするのも有用な手段となります。攻撃者が複数のIPアドレス(あるいは踏み台のサーバ)を所有していることも多いので、根本的な解決のためには、サーバーのセキュリティホールを防ぐことがより重要となります。そのセキュリティホールを防ぐためにも、生ログは有用な情報源となります。どこが集中的に攻撃されているかが分かるからです。ログインページに対してブルートフォースアタック(総当たり攻撃)をしかけて、パスワードを破ろうとしていることが分かった場合、ログインページのURLをデフォルトのものから変えることが有用な対策となり得ます。万が一バックドアを設置された場合でも、そのファイル名が何であるのかの形跡が生ログに保存されていることがあります。その情報を手がかりにサーバーの掃除を行って、バックドアを完全に削除することなども有用です。最後に以上、ウェブサーバの「生ログ」について、特にSEOにおける有用性について説明してきました。普段、なかなか生ログを扱うことは少ないと思いますが、一度、まずは見てみることからはじめてみてはどうでしょうか。そこには何か、今までには気付かなかった発見があるかもしれませんよ。本当の最後に・・・今回ご説明した「生ログ」の分析も含めて、SEOについてお困りのことがありましたら、ぜひプリンシプルにご相談ください!デジタルマーケティング戦略、Web解析、SEO、リスティング広告、Facebook広告、Linkedin広告、Tableauでのデータビジュアライズなどなど、何か弊社でお役に立てそうなことがございましたら、お気軽にご相談ください。ご相談は無料で承っております。ご興味のある方はこちらよりお気軽にお問い合わせください。こちら(https://www.principle-c.com/contact/)プリンシプルでは業界最高レベルの専門家として一緒にご活躍いただける方を募集しています。11年間の文部科学省勤務の後、ITベンチャーにてメール配信システムやウェブサイトの開発に従事。