BLOGコードもサーバも、雲の上2015-06-22はじめての障害演習どうもこんにちは。服部/安孫子がお送りします。Oneサービスの障害対応演習について企画者の一人として書いてみたいと思います。サービスにおける障害発生を機に、再発防止のシステム改善と強化だけではなく、社内オペレーションの見直しと障害のケーススタディを行い、対応の練度をあげる必要性が社内で議論されていました。スピード」について多くのご意見をいただきました。そこで社内にプロジェクトチームを立ち上げ、取り組みの第一弾として障害対応演習を実施することになりました。第一回である今回は、演習用のクラウド環境などは準備せず、障害発生時の人のオペレーションと課題抽出、コミュニケーション強化をテーマとしました。訓練も机上演習ながら長い時間を使って演習を行う都合上、週末に実施することに決定しました。初期の議論のホワイトボード企画:真面目さと遊びココロのバランス目的はきっとメンバーにも理解してもらえるでしょう。お題目として理解してもらっても意味はない。参加メンバー全員が当事者意識と危機感をもって参加してくれなければ、わざわざ週末にまで出社して演習をやることはないと考えていました。そこで、まじめにやる部分と楽しんでもらう部分のバランスに心を砕きました。大まかな構成は以下の3部構成。実は、一番早くディテイルが決まったのが1の部分です。内容は「人狼村からの脱出」というリアル脱出ゲームを開催しました。障害対応のポイントは何度も議論を尽くしたのですが、対応のリーダーシップと役割分担、社内での円滑なコミュニケーションなどのポイントが上がりました。このゲームは挙がってきたポイントをほぼ全て押さえられるものと判断し、企画のメンバーでテストプレイをしてみて実施を決定しました。以下、演習当日のハイライトをお送りします。演習開始:午前の部:チームビルディング(人狼村からの脱出)実際のプレイでは、写真のように準備された資料を解いていく事で人狼を突き止め、人狼村から脱出することがゴールです。過去の経験から改めて障害対応で何が大切になるのか、各メンバーから意見を出してもらい、発表してもらいました。午後の部:障害演習プロジェクトチームが用意したケーススタディを元に、4チームに分かれて割り振られた障害に対しに最適な行動を決定し、質疑応答のなかでさらに議論を深めていきました。刻一刻と変化していく状況にどう対応すべきか議論していく中で、チームが取り組んでいくべき課題がいくつも見つかったことが大きな成果でした。サービス全体がそもそもダウンしたらどうするか、障害発生時の状況の中には対応すべきメンバーが全員対応不能な状況になっているなど想像するのも恐ろしいものも含まれていました。午後の部:ディスカッション第一回の演習で得た気付きは以下の通りです。社内全体を巻き込んだ情報共有や訓練実施の検討メンバー全員が高い当事者意識を持ち、お客様に満足いただけるサービスとは何か、という点を真剣に議論する姿が印象的でした。今後の演習ではクラウド上構築した演習環境を使っての演習実施を計画しています。弊社サービスを安心してご利用いただけるよう、チーム一丸となってお客様をサポートして参ります。今後も弊社の取り組みを本ブログにて皆様に公開して参りますので何卒宜しくお願いします。アーカイブスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。