プログラミングSlack、11月1日に発生した大規模障害の原因は、定期デプロイによるソフトウェア障害が原因2017年11月6日Slackが11月1日に起こした大規模障害は、同社内でデプロイしたソフトウェアが原因だと報告された。全ユーザーがSlackに接続できなくなる障害は2時間以上続き、その後復旧された。その概要と時系列を公開された報告書から追う。オンラインチャットサービスを提供するSlackは、日本時間で11月1日の朝から数時間、全ユーザーが接続できなくなるという大規模な障害を起こしています。11月4日には、同社のStatusページに障害発生に関するまとめが掲載されました。それによると、障害の原因は同社内で行われていた定期デプロイによってサーバにデプロイされたソフトウェアの障害とのことです。2017ただしそれがどのような障害であったのか、詳細については現時点では紹介されていません。障害報告の前半は、概要がまとめられています。後述の詳細によると、同社が今回の接続障害を最初に認識したのは日本時間で午前8時頃ですが、その約1時間後には全ユーザーが接続できなくなるところまで深刻化したようです。11月1日午前8時50分)、全ユーザーのSlackがダウンしました。これは社内で定期的に行われている、ソフトウェアをサーバに定期的にデプロイした結果起きたことで、全ユーザーに対する接続を失わせ、再接続できなくさせてしまいました。障害は日本時間で午前11時までには復旧したとのこと。このとき、ユーザーからの再接続による過負荷に備えてサーバを増強したとのことです。again.問題を確定したうえで、私たちは大量のリクエストを処理するための新しいハードウェアの増強を行いました。みなさんがオンラインに戻ってきたときにこれ以上システムが過負荷にならないようにし、段階的な再接続のために標準的なレート制限をしました。午前11時)までに、全ユーザがSlackに再接続されました。Services(AWS)の事例のページに載っていることから、データセンターとしてAWSを利用しているようです。そこでのSlackのソフトウェアのデプロイをきっかけに障害が発生し、復旧時には過負荷に備えて多めにプロビジョニングしたのではないかと考えられます。障害報告の後半は、時系列で障害時発生時の報告がまとめられています。本記事では読みやすいように時系列の順番を発生順とし(オリジナルは逆順)、またフォーマットを少し変えています。接続障害をSlackが認識したのは、日本時間で午前7時58分とのこと。調査開始が報告されました。午後3時58分(太平洋標準時午後2時58分。日本時間11月1日午前7時58分)接続に関する問題発生を検知、調査中です。40分後の報告では、また原因や対策を模索中のようです。前述の概要によると、このあたりで全ユーザーの接続が切れたと推測されます。午後4時39分(太平洋標準時午後3時39分。日本時間11月1日午前8時39分)障害について深くお詫びします。復旧のためにあらゆることを行っています。最初の報告から80分後。復旧に向けた修正作業が始まりました。午後5時22分(太平洋標準時午後4時22分。日本時間11月1日午前9時22分)接続障害の復旧に向けていくつかの修正を行っているところです。私たちはこれがいかに重大なことか理解しており、もうすぐよいお知らせができる見通しです。約120分後、復旧作業が功を奏しているとの報告。午後6時01分(太平洋標準時午後5時01分。日本時間11月1日午前10時01分)展開中の修正はよい結果をもたらしているようです。森を抜けた(問題解決をした)わけではありませんが。お待ちいただくようお願いいたします。約180分後、復旧作業が完了。再接続の状況を見守っていると。午後6時35分(太平洋標準時午後5時35分。日本時間11月1日午前10時35分)修正を展開以来、Slackへの接続を確認し続けていますが、全ユーザーがSlackに確認可能だと確信しています。ご協力とご理解に感謝します。二度とこのようなことがないよう、この障害の調査を続けます。障害報告では、障害の原因がデプロイしたソフトウェアのどこにあったのか、復旧は単純なロールバックではなく修正パッチなどを当てたのかなどの詳細については触れられていません。同社のブログなどで詳細が明らかになったら、また紹介したいと思います。2.1」ベータ版が公開。Niino(jniino)IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。2.7サポートを発表Google、Lookerの買収完了を発表。Enterprise、BtoBスタートアップ向け支援プログラムで無料提供と発表。Networksの買収を正式発表。Terminal」機能確定版リリース。コマンドラインからIssueやプルリクなど実行可能に。usPublickeyについて/運営者についてお問い合わせ広告についてプライバシーポリシ。