謎の技術研究部ホームタグ謎の技術研究部とはTop›プログラミング›WEBサービス2021-11-26記事が突然Google検索に表示されなくなる原因を調査する。記事が検索にヒットしないどういうわけかBLOGのデザインを新しくしてから記事が検索にヒットしない状況が現れた。Console上でもエラーはない。このエラーは2021になってほかサイトでも多発している模様。Searchに登録されなかったが、本日登録されたのを確認。いった内部アルゴリズムを調査するような記事は検閲されるアルゴリズムへ変化したと考えていたがそうではないようだ。1週間程度登録されなくても、時間が経てばある程度の内容のある記事なら登録されそうなので安心して記事を書いてほしい。次の記事にて現状行った対策をまとめた。ConsoleにてURL検査をかけると次の結果。インデックス未登録」これはなにか。より検出されましたが、まだクロールされていません。クロールしようとしたものの、サイトへの過負荷が予想されたため、クロールの再スケジュールが必要となった場合です。そのため、レポート上で最終クロール日が空欄になっています。原因は「サイトへの過負荷」となっている。これになるのはおかしい。可能性ひとまず考えられた可能性Blogのデザイン変更で再調査されている記事を追加したのが半年ぶりで再調査されているGatsby.jsのプラグインのGoogle系に設定ミスがある低品質コンテンツとみなされているURLにより記事重複と判断されているプラグインに関しては何度もチェックしているので問題ないと思うが、上の2つは可能性が高いと判断して3日経過。して一番下の可能性もあると思い始めた。URLを一部変更した2021/11/26追記:新記事を旧URL形式にしたが効果なし。URLが原因ではなさそう。このWEBサイト自体がBLOGというより学習に使ってもらうサイト風にしていきたいという思いがあったのでURLから/blog/というディレクトリを消去し新しく記事を執筆し始めたが、旧記事をリダイレクトしていたらきりがないのでディレクトリは残してある。ここで気づくのだが/blog/というURLを除けばその直下/2021/1/といった数字が旧記事と新記事で重複しているため、もしやこれが重複扱いになっている可能性がある。日記の大量URL変更が原因?2021/11/26更新どうやらURL変更でもダメだったので、そちらが原因ではなさそうであることが判明。以前日記を記事にしており、こちらは記事としての価値が低いと私が考えているためトップにインデックスされないように更新し、こちらの記事を大量にURL変更したのが原因の可能性も出てきた。したらクロールが前記事を再調査中で新しい記事が保留になっている可能性は十分にある。2021/11/28更新:次の項の可能性が高いがURLが多数変更されているのでクロールが遅い可能性も未だ捨てきれない。consoleのクロール結果を見ていて気づいたのだが、内部リンクが認識していない。初めは全ページに巡回が行っていないだけだと思っていたが、もしかして本当にリンクが認識されていない可能性を確認。当サイトのリンクをすべてgatsbyのnavigate関数で行っていたが、ブラウザでマウスをオーバーしても左下にURLが出ない状況を確認。当然ではあるがjsの関数でリンクしているのでaタグによるリンクにっていなかった。これが原因の可能性あり。navigate関数をすべて廃止して、gatsbyのLinkコンポーネントへ移植する対応を行った。クロールしたもののインデックスされなかった記事は、この状態で「どこからもリンクされていないページ」だったので現状一番可能性が高い。この対応後すぐサイトを更新し、時間を置くことにする。これで解決した場合は別記事にしたい。翌日になっても何も解決されていない。インデックスは再クロールされているのでnavigateだけの問題ではない可能性がある。インデックス未登録」になってしまうのはおかしい。新記事すべてがURLだけ見て「重複」と判断(内容を見る前に無視)され、サイト全体のクロールが止まっている可能性がある。そこで一旦すべての新記事を旧記事形式のURLへ移行することとした。日記として公開していた記事がgatsbyの不具合で「日本語が使えない」という理由でそのままリネームして記事移行していたが、こちらも一部がインデックス未登録で表示されたままとなっているので、残念ながら「日記記事の全消去」を行うことにした。だめなのだろうか・・・gatsby-plugin-offlineを消去2021/11/29追加google検索で自分のトップページを検索するとこちらは表示されている。found」という文字列が追加されている。調べていた所古い記事ではあるが404へ遷移することがるとの情報。Twitterアプリから開くと発生とのことなのでGoogleのクローラーという特殊ブラウザからの遷移がコレに当てはまる可能性が捨てきれない。私だけ発生しているとしたら、かなり特殊な無限スクロールとの相性が良くない可能性は大きい。次のBLOGライター者様へ感謝。9mのパソコン日記そもそもgatsby-plugin-offlineは細かい記事の更新が反映されないというデメリットもあるので削除することとした。次のページを読んでアンインストール後gatsby-plugin-remove-serviceworkerを入れる必要があることに気づいたため導入。Blog記事がひとつだけ登録2021/11/29上の項の処理を行った後6時間後、ひとつだけ記事が登録されていることを確認。BLOG更新を再開後の記事としては初めてで、新規追加した記事5つのうちひとつ。インデックス未登録のページのうちいくつかで「参照元ページ」は正しくリンクされているようになった。登録されてはいない記事も多いが、いろいろな対策に効果はあった模様。さいごに2021/12/02追加ようやく新しく追加した記事の多くがインデックスされはじめたため次の記事にて対策を纏めた。謎の技術研究部ひとまずここでこの記事を終わりとするが、継続して観察する。この記事のタグGoogleBLOGこの記事をシェア著者Ultra-Noob謎の技術研究部部長。3DCG以外にもDTMやプログラミング等も研究する。謎の技術研究部とはプライバシーポリシーホーム(自動スクロールなし)ご意見、お問い合わせ。