buchizo今度は西日本でしたね。日本時間だと3月28日3時~6時の間で西日本リージョンで障害がありました。(こちらから履歴が見れます)以下とりあえず引用。hours.原因はストレージのスケールユニットを西日本に追加したが、西日本リージョンのデータセンター間のネットワークのルーティングが間違ってブロックされたため依存しているVMなどのサービスが再起動・接続の失敗状態になったということのようです。自動復旧では問題が解決しなかった模様。追加時の手動ヘルスチェックでは問題が検出できなかったともあります。(なので正確な根本分析と対応に時間がかかり遅れたとのこと)対応として新しく追加したスケールユニットを隔離したことで復旧させたようです。今後のステップとしては、ストレージのスケールユニット追加時に間違ったルーティング情報がどう設定されてしまったのか、今回のような問題を防ぐための調査などを行っているところということです。追記RCA(根本原因分析)がでてました。西日本の顧客の一部は西日本リージョンでホストされているVMの再起動やパフォーマンス低下、または接続の失敗を経験しました。西日本リージョンにストレージスケールユニットを追加している間、スケールユニットはそのリージョンの2つのデータセンター間のネットワーク接続を遮断したルートをアナウンスしました。残念ながら自動復旧では問題が緩和されず、新しいノードの追加関連で行われた手動ヘルスチェックも正しく実行されませんでした。自動アラートでは可用性の低下が検出され、エンジニアリングチームはこの問題をスケールユニットの追加と関連付けました。新しいスケールユニットは再度分離され、ルートの通知を修正し2つのデータセンター間の接続を復元しました。VMは再起動や接続に問題を経験した可能性があります。503エラーを受信したか、遅延が長くなっている可能性があります。Appsユーザーは3月28日3時30分(UTC)まで問題が継続した可能性があります。Searchサービスをプロビジョニングしようとすると失敗することがあります。Cacheのリソースへ接続できなかった可能性があります。Monitorのユーザーがオートスケールすることができず、アラート機能が失敗した可能性があります。Analyticsジョブは開始しようとすると失敗した可能性があります。Analyticsジョブは影響を受けませんでした。Gatewayのお客様はこの問題の発生時に切断された可能性があります。Managerを使用して健全なリージョンにリクエストを送信する)により、アプリケーションは影響を受けずに続行でき、影響を最小限に抑えられました。西日本地域の1つのデータセンターに新たに追加されたストレージスケールユニットには、西日本リージョンの第2のデータセンターでのみ使用されるIPアドレスが割り当てられました。これらのIPアドレスのアナウンスにより、第1データセンターの境界にあるルーター上で集約され、第1データセンター内のすべてのVMと第2データセンター内の集約に属するIPアドレスとの通信が中断されました。IPアドレスは重複しませんでしたが、同じ集約のサブプレフィックスでした。重複するIPアドレスの発行を防止するために設計された検証コードはIPアドレスが同じ集約のサブプレフィックスではないことを適切にチェックしなかったため、これらのIPアドレスの新しいストレージスケールユニットへの割り当てを防止できませんでした。リージョンに新しい容量を追加することは過去に停電の原因となっていたため、自動システムと手動によるチェックの方法を使用して影響がないことを確認しました。このターンアップで使用されたツールはリージョンからの継続的な健全なシグナルの存在に基づいて活動をゲートでコントロールしなかった領域でターンアップし続け、シグナルが低下した後でもロールバックに失敗しました。ターンアップ後に正常に手動でヘルスチェックが行われたため、ロールバックは開始されませんでした。このインシデントに関連する集約を削除するネットワーク信頼性向上プロジェクトの一環として西日本リージョンで並行してメンテナンスが行われました。Microsoftは環境における並行保守の導入を避けるために、変更査問委員会を設定しています。この場合、競合する変更を特定できないプロセスエラーが発生しました。ストレージスケールユニットに先立ってメンテナンスが完了していれば、このインシデントは発生していなかったでしょう。残念ながら集約を取り除く付帯的な作業の開始とメンテナンスの間の時間の近接はロールバック集計のメンテナンスへの可用性アラートに対応しているエンジニアに誤りを起こさせました。これは問題の原因を正しく突き止めるのにかかる時間が増加し、スケールユニットがロールバックして問題を緩和するための時間に遅延が発生しました。Platformとそのプロセスを改善し、将来発生しないようにするために引き続き取り組みます。この場合以下が含まれます。Azureはプロセスの自動化を継続し、手動による健全性チェックが正しく行われるようにする。「リージョンに新しい容量を追加することは過去に停電の原因となっていたため」って電源不足ってことですよねぇ...あらまぁ。限りあるファシリティでがんばるのは難しいですね。あとやっぱり手動に頼らざるを得ない部分をどうするかですかね。コメントをキャンセルコメントを入力してください。以下に詳細を記入するか、アイコンをクリックしてログインしてください。アカウントを使ってコメントしています。アカウントを使ってコメントしています。アカウントを使ってコメントしています。アカウントを使ってコメントしています。新しいコメントがついたらメールで通知。免責事項このBlogおよびコミュニティにおける発言やコメントは、当方の所属する会社・団体の正式な見解またはコメントではありません。Blog.%d人のブロガーが「いいね」をつけました。