Cloudを利用しているサービスで大きな障害が発生していました。有名なサービスとしてはポケモンGoやSpotifyなどがサービス不可の状況になっていたようです。日本国内ではインシデント発生時刻が早朝のためあまり大きな障害はなかったようですが、米国時間ではちょうどお昼ごろのため大きな影響があったと推測されます。5時台に障害が発生した模様です。当該時刻にはその他のサービスもエラーを上げていたようで、珍しくステータスダッシュボードが燃えていました。Portal/APIが影響を受けていたようです。Balancingの障害によるものでした。CAUSEというセクションがあったため読んでみました。GFE)は2層の階層構造を持っているそうです。第1層目がユーザーからのリクエストを直接受けつけ、続いてサービスのデプロイされているリージョンか、アベイラビリティゾーンに存在する2層目のロードバランサーに振り分けられるような構成だそうです。この構成になっていることでエンドユーザーが世界のどこにいてもそのユーザーの一番近い第1層のGFEに接続に行き内部でルーティングされ第2層のGFEを経由してバックエンドサービスに繋がってレスポンスを返すとなっている。online.今回はGFEの開発チームが第2層のロードバランサーにセキュリティと性能の向上する機能を追加しているときに起きた。この機能はコードベースにはマージされていますがサービスインはしていなかったそうです。この機能の一部にGFEを再起動させるバグが混入されていましたが、テストや初期のデプロイでは検知できなかったとも書いてあります。実際にこの設定を本番環境に適用したところ、GFEが一気に再起動していき、ロードバランサーの容量不足になり処理ができなくなってしまった。いうのが今回のインシデントにつながった。テストを網羅しているつもりでもテストでカバーできていなかったところのバグが世界的な障害の起因となるというのは怖い話ですがあのGoogleでもやるときはやるんだなー(笑)とも思いました。まとめこういう前段の障害をどう回避するか結構難しい問題かな?と思います。やるとすると、GCP以外の他のクラウドにもサービスを投入しておいて障害が出次第、DNS等の設定でGCP側に振り分けないようにするくらいしか対応ができないかなーと思います。良さげな方法を知っている方がいたら教えてください。Publickeyにも情報が日本語で出てきました。N...2017-04-15今何かと話題のマストドン(mastodon)鯖を自分用に無料で立てる方法こんにちは。Cloudの障害レポートを読んだ空港のラウンジを使うために知っておきたいこと当ブログについて本ブログは技術ブログです。@jtwp470https://jtwp470.net/旅行記、オタク記は以下です。https://medium.com/@ryosan470はてなブログをはじめよう!jtwp470さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。