【悲劇】グーグルの検索インデックスからサイトをうっかり削除してしまうとどうなるのか【実録】Webサイトの全ページに間違ってnoindexを付けてしまった悲劇。noteで書く筆者の見解はすべて筆者自身のものであり(ありそうもないことだが、筆者が催眠状態にある場合を除く)、Mozの見解を反映しているとは限らない。タイトルを見て、その恐ろしさにちょっとしたパニックになった人がいるかもしれない。タイトルにあるとおりのことを経験したので、その不安がもっともなものだということは保証できる。僕の悪夢を一緒に追体験したい人のために、そのときのことを時系列に沿って説明しよう。不安の発散と同時にSEOの研究にもなるだろう。悲劇の幕開け(2019年8月4日)日曜の朝だった。僕はコーヒーを飲みながらSEOツールをいじっていた。いつものことで、とんでもないことが起きるなんて思ってもいなかった。そこに飛び込んできたのがこれだ。以前は上位にランクしていた検索キーワードすべてで検索順位が失われていた(Lost)いったい何が起こったって言うんだ?。SEOの人間なので検索順位の自然変動は見慣れている。変動には慣れているが、消滅は話が違う。ステップ1:否定まず頭に浮かんだのは、これは間違いだということ。ツールの「Ahrefs」がおかしくなったのかを確かめるため、他のツールに切り替えた。Googleアナリティクスで確認しても、これに対応したトラフィックの落ち込みがあり、「何かが起きていること」が確実になった。SEOの人間として、当然、最悪の事態を想定した。ステップ2:パニック「アルゴリズムのアップデートか?」アルゴリズムのアップデート。お願いだからそれは勘弁してほしい。アップデートはなかった。脳のなかで原始的な部分である「爬虫類脳」が関わってくると、考えがすっきりまとまらなくなる。パニックを起こし、考え方が不合理になり、判断が鈍る。ぼくは少しの時間を経てようやく平常心をいくらか取り戻して、何が起きたのかをしっかり考えた。キーワードランキングが完全に消えてしまうなんてまずないことだ。インデックスに違いない。キーワードランキングが消えたページをグーグルでざっと検索したところ、確かに実際にページがなくなっていた。Consoleのレポートも同様だった。Consoleで原文と同じ状況を再現したもの)下の方の警告に注目してほしい。検出されましただんだんわかってきた。続いてページのHTMLソースコードで確認した。インデックスから外すようにページがマークアップされていた。実際に外されたページはどれくらいあるのだろう?ステップ4:被害の調査すべてのページがnoindexになっていた。緊急のメモを数件、開発担当者に送ったところ、約3日前の木曜(2019年8月1日)の夜に本番環境に反映した修正によってすべてのページでnoindexが誤って有効化されたことを担当者が確認した。サイト全体がインデックスから外されたのだろうか?その可能性はとても低い。いうのも、そのためにはグーグルが3日以内にサイトのすべてのページをクロールして、「noindex」というマークアップを見つけなければならない。Consoleは参考にならないだろう。Consoleはデータの反映が常に遅いので、修正するまでの間に変化がまったく拾われない場合がある。Consoleへのデータ反映は遅かった。Consoleは影響を受けたページを最大でも249しか捕捉していなかったのだ。問題を見つけて修正してから丸1週間たっても検索プレゼンスは3分の1も減少していたのだから。具体的に何ページがグーグルのインデックスから外されてしまったのかは調べられなかったが、すべてのページが「noindex」とマークアップされたことはわかっている。ちなみに、「site:brafton.com」という検索オプションを使ってグーグルで検索すると、インデックスに登録されていたページのおよそ8分の1が表示されたことは覚えている(スクリーンショットを取っておけばよかった、申し訳ない)。問題を解消インデックスから消えてしまったページを改めてインデックスさせなければいけない。問題が特定されると、開発担当者が更新を巻き戻し、サイトを「noindex」とマークアップされる以前の状態にした。次の問題はコンテンツのインデックスへの再登録だった。Consoleにアップロードしなおした。Consoleは最近のアップデート以降、リクエストしても何かしてくれるとは信じきれなくなっている)。その3:待つここまでくると待つ以外にできることはなかった。疑問はいくつもあった。ページは以前と同じキーワードで掲載されるのだろうか?同じ順位で掲載されるのだろうか?しばらく消えていたことによるなんらかの「ペナルティ」がグーグルからあるのだろうか?答えを出してくれるのは時間だけだ。間違ったコードがすべての有効なページに行き渡った日(8月2日)を出発点として被害を評価することにする。最初の測定は、8月2日から8月8日までの丸7日間だ。Consoleだろう。検索トラフィックがおよそ33.2%失われていた。幸いなことに、これが今回の試練を通じてもたらされた損害のピークだった。トラフィックはマイナス23%この間、僕は、次の2点に目を光らせていた。Consoleから手作業でページを読み込んだにもかかわらず、インデックスに登録されないページがまだたくさんあった。その中には重要なランディングページも含まれていた。このことは今回、最後まで課題となる。インデックスに登録されないページが残ったので、トラフィックへの影響は続いていた。問題の発生から2週間が経っても、まだ検索トラフィックは減ったままだった。トラフィックの減少に伴って、(コンバージョン率は上がっていたものの)売り上げにつながるコンバージョンも減少した。悲劇から3週間(2019年8月22日)――トラフィックはマイナス13%ページのインデックス登録は相変わらずのスローペースだった。僕にできるのは、営業目標が確実に達成できなくなっていくのを見守ることだけだった。いえ、少なくとも検索プレゼンスが回復してきていることは明らかだった。そこで、その回復がどう進んでいるのかに僕は関心をもった。すべてのページがインデックスに再登録されたが、各ページの検索プレゼンスが落ちているのだろうか。各ページの検索プレゼンスは完全に回復しているが、インデックスへの再登録がまだ完全ではないだろうか。この問いに答えを出すため、インデックスから外されてから再度インデックスに入った個々のページを見ていった。次は、インデックスを外れていた期間がもっと短いページの例だ。いずれのケースでも、個々のページの検索プレゼンスは完全に回復していることを確認できた。問題はプレゼンスの回復ではなく、インデックスへの再登録がいつかということのようだ。Consoleにはエラーになっているページを「検証」する新機能がある。僕は8月26日にこのプロセスを開始した。Consoleはゆっくりとページを再クロールしていった(のだろう)。週に約10ページのペースだった。これは通常スケジュールのクロールよりも速いのだろうか。Consoleのツールが何かしてくれているのだろうか。[カバレッジ]の詳細で表示されるエラーの項目から[修正を検証]したあとに[詳細を表示]で確認できる検証の詳細。わかっているのは、3週間経ってもインデックスから外れたままのページが数多くあることだった。トラフィック獲得で頼りにしている営業用のランディングページも含まれていた(この件の詳細は後ほど)。悲劇から4週間(2019年8月29日)――トラフィックはマイナス9%この時点でかなりフラストレーションがたまってきていた。Consoleで検証と新たなインデックス登録のリクエストを何度も繰り返してもうまくいかなかったからだ。ConsoleのURL検査のレポートによると、残りのページは完全にインデックス登録できる状態だったのに、クロールしてもらえなかった。結果、1カ月近くたっても検索トラフィックは元の水準を9%下回っていた。してもインデックスに再登録されないページがあった。コンバージョンで頼りにしていた商業価値の高い製品ページだった。インデックスへの再登録を促すために次のようなことを試した。Consoleに再送信どれもうまくいかなかった。このページはどうしても再登録してもらえなかった。同様のページが、営業への影響はそこまでではないものの、ほかに100以上あった。このページはなんと、インデックスから外れてから丸2カ月間(10月1日まで)、どうしても再登録してもらえなかった。ちなみに、4週間後の全体の回復状況はこんな感じだった。悲劇から5週間(2019年9月5日)――トラフィックはマイナス10.4%大きな停滞期。この時点で、「検証中」だと思われる約150ページを除きすべてがインデックスに再登録されていた。これらのページは検証されなかった。再クロールもされなかった。時間が経てばおそらく完全に回復するだろうことはイメージできていた。それがいつになるのかは、グーグルにゆだねられていた。僕が何かしてどうなるものでもなかった。悲劇から6週間(2019年9月12日)――トラフィックはプラス5.3%トラフィックが完全に回復するのに約6週間かかった。実のところ、まだ完全に復活したわけではなかった。インデックスに登録されていないページはまだいくつもあったが、それを補って余りあるほど一部のコンテンツが大幅にプラスになっていたのだ。全体的な検索プレゼンスは6週間で回復した。問題となっていた製品ページはさらに2週間半、インデックスに登録されなかった。コンテンツがインデックスにすべて再登録されたのは、問題の修正から8週間以上たってからだった。結論まずなにより、過失であろうが実験でろうが、サイトは絶対にインデックスから削除してはならない。僕の見積もりでは、オーガニックなトラフィックが約12%減少し、売り上げにつながるコンバージョンも同じくらい減ることになった。学んだことページがインデックスに再登録されると、検索ビジビリティは完全に回復した。最大の問題はインデックスへの再登録だった。偶然が引き起こした今回の実験について、多く寄せられた質問とその回答を紹介しておこう。回復したのか?完全に回復した。すべてのURLが以前と同じ検索ビジビリティを取り戻したようだ。回復にかかった期間は?検索ビジビリティは6週間で元の水準まで戻った。ページがすべてインデックスに再登録されるのには8~9週間かかった。掲載された以下の記事を、Mozの許諾を得て日本語化したものです。最近(過去90日間)の記事で、Facebookの「いいね!」が多かった記事をお見逃し無く。ネット広告への強い嫌悪感、テレビや新聞の倍以上に。いいね!伝説のTwitter企業アカウント“中の人”の先駆け。いいね!「おもてなし」は思考停止ワード。いいね!私は変人コレクター。位置情報データ活用デジタルによる「仕事の自動化」、日本は無関心な人が主流。★イベントなどのプロモーションプランナーの募集です★業界最大手のイベントプロモーション企業です。Drive」提供アマゾン日本事業の売上高は約1.7兆円【Amazonの2019年実績まとめ】デジタルによる「仕事の自動化」、日本は無関心な人が主流。「おもてなし」は思考停止ワード。各週の人気記事ランキング記事を見るはてなブックマークですべての人気記事を見る今日の用語インタースティシャル広告ページ移動時にページとページの間に独立ページとして表示する広告のこと。日本発のブランドはまだ自動車が強い。Patterns』を3名様にプレゼント!【受付終了】企業がDXに向かう取り組み方を考える『デジタルファースト・ソサエティ』を3名様にプレゼント!すべて見るインフォメーションWeb担のメルマガを購読しませんか?Web担の記事がコンパクトに毎週届くメールマガジン「Web担ウィークリー」は、10万人が読んでいる人気メルマガ。忙しいあなたの情報収集力をアップさせる強い味方で、お得な情報もいち早く入手できます。編集後記サイトマップFAQ(よくある質問とその答)Web担に広告を掲載しませんか?購読者数10万人のメールマガジン広告をはじめとする広告サービスで、御社の認知向上やセミナー集客を強力にお手伝いいたします。