Azureの北欧州データセンター、定期メンテナンス時の消火剤放出が原因で空調停止、温度が上昇し自動シャットダウンへ。PublickeyTopクラウドAzureの北欧州データセンター、定期メンテナンス時の消火剤放出が原因で空調停止、温度が上昇し自動シャットダウンへ。7時間にわたり一部にサービス障害2017年10月12日Azureの北欧州データセンターで、定期メンテナンス時に予期せぬ消火剤放出が発生。空調停止を引き起こし、温度上昇でサーバ群が停止するという障害を引き起こした。history」で報告されています。原因は、データセンターの定期メンテナンス時に予期せず消火剤の放出が発生し、それがきっかけとなって空調が停止。停止した区画の温度上昇により一部のサーバやストレージが停止するというものでした。データセンター内のさまざまな部分で自動化が進んだ結果、ある問題が自動的に次の問題を引き起こす将棋倒しのような状況を見ると、データセンターの自動化の難しさを感じます。historyで報告された状況の概要を紹介しましょう。障害発生のきっかけは定期メンテナンス時に予期せず不活性消火剤が放出されたことでした。safety.定期的な消火システムのメンテナンス時に、予期せず不活性消化剤が放出されました。これがトリガーとなり、隔離と安全確保のために空調管理システムの自動シャットダウンが開始されます。空調が自動的に停止、それによって温度上昇が発生します。parameters.データセンターの状況が再確認され、空調管理システムを再起動している時点で、影響を受けて隔離された区画の温度は通常運用の範囲を超えてしまいました。温度上昇を検知した一部のシステムがシャットダウンもしくは再起動されます。systems.影響を受けた区画の一部システムはオーバーヒートを防ぐための内部温度監視システムによってシャットダウンもしくは再起動が実行されました。消火剤放出と空調関係の問題は即座に認識され、35分後には通常の状態に戻りました。event.このきっかけとなった消火システムの問題は即座に確認され、35分後にはすべての空調管理システムは復旧し、温度も通常の範囲に戻りました。電力系はこの間に何の影響も受けませんでした。release.全システムが通常運用状態に復帰し、今回の予期しない消化剤放出に関する調査が終わるまで、システムメンテナンスは延期されました。トラブルシューティングと復旧に時間がかかるこれですべてが元通りというわけにはいきません。一部のサーバやストレージのシャットダウンなどによって起こったシステム障害の復旧作業が必要となり、これに時間がかかってしまいました。resources.これらの事象や隔離された区間の温度変動といった状況によって、一定のサーバとストレージリソースは制御された方法によるシャットダウンが実行されませんでした。結果として影響を受けたサーバやストレージ群のトラブルシュートとリカバリの時間が余計に必要となりました。結局、35分で空調が復旧したにもかかわらず、システムのトラブルシューティングと復旧作業に6時間以上かかってしまい、元通りになったのは20時15分と報告されています。recover.スケールユニットが通常運用に必要なノード数に到達すると、徐々にお客様の状況は改善され、ストレージおよび関連サービスが完全に普及した20時15分(UTC)に完全に元通りになりました。定期メンテナンス時に消火剤がきっかけで障害が発生するという事象は、以前に報じたING銀行の例を思い出させますが、消火剤の放出がサーバに直接影響したING銀行の例と比べると、今回の事象とはやや性格が異なるようです。ING銀行の基幹データセンター、消防訓練で消火ガス噴射の衝撃音が大量のハードディスクとサーバを破壊。ATMや決済サービスが停止に日本国内で、ガス消火設備の放射音がデータセンターのハードディスクを破壊する可能性についてメーカーが注意喚起済み。≫次の記事[速報]GitHub、依存関係表示でのパッケージやアプリケーション対応、セキュリティアラートなどの新機能発表。SIMアプレット」発表、SIMがプログラマブルなプラットフォームに。Niino(jniino)IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。2.7サポートを発表Google、Lookerの買収完了を発表。Enterprise、BtoBスタートアップ向け支援プログラムで無料提供と発表。Networksの買収を正式発表。Terminal」機能確定版リリース。コマンドラインからIssueやプルリクなど実行可能に。usPublickeyについて/運営者についてお問い合わせ広告についてプライバシーポリシ。