トレタ開発者ブログスマートフォン用の表示で見るトレタ開発者ブログ飲食店向け予約/顧客台帳サービス「トレタ」、超直前予約アプリ「トレタnow」を開発・提供するスタートアップ企業です。2017の24日目の記事です。サーバサイドエンジニアの中村です。トレタのようなSaasを提供する企業に関わらず、サービスを提供する会社において障害対応フローを決めておくことは非常に重要です。今回の記事では、トレタで障害が発生してしまったときにどのようなフローで対応し、全国の飲食店の方々への影響を最小限にしているかをまとめてみたいと思います。トレタにおける障害とは?お客様の業務影響があるものを指します。例を挙げると以下のような事象です。トレタにつながらないウェブ予約ができないメールが送信できない/受信できないFAXが送信できないSMSが送信できないアプリからAPIサーバにつながらないなどの重大な障害のときに、飲食店の最低限オペレーションを可能にするためにオフライン時にもアプリ側で予約情報を見れるようになっています。以下の3パターンがあります。どのパターンにおいてもエンジニアが最初に調査し、障害かどうかを判断します。channelに通知します。エンジニアに連絡がいくようになっています。エンジニア以外の社員が障害に気づき、緊急でエンジニアを呼ぶ場合にはslackからpagerduty経由で連絡が行くような仕組みも作っています。お客様からの問い合わせお客様からカスタマーサポートチームへのお問合わせの中で、バグと思われる挙動のお問合わせが来た場合はすぐにエンジニアが調査を行います。調査の結果、障害だと判断された場合は障害対応フローに移ります。社員がトレタの各種プロダクトを触っている際に気づく自分たちで発見するパターンです。エンジニアに連絡し調査を行います。障害対応フロートレタでは何度かの障害対応の経験を経て、障害対応フローを改善してきました。現在は以下のフローになっています。上述の障害検知からエンジニアに連絡が入り、調査を開始します。エンジニアの調査と平行し、カスタマーサポートチームでも似たような現象のお問い合わせが来ていないかを調査します。社内共有エンジニアによって障害だと判定された場合はslackで社内全員に連絡をします。このタイミングで報告するのは以下のような内容です。日本の店舗か、海外の店舗かやWeb予約したユーザに影響があるかなど影響するプロダクトトレタはiPadアプリの他にも店舗向けのWebアプリやユーザ向けのWeb予約、他幾つものオプションサービスを提供しています。Deployするか?社内共有後にエンジニアはhotfixの準備を行います。並行してカスタマーサポートチームは該当店舗への連絡の準備、影響範囲によってはAPI連携を行っている外部の企業様の担当の方へも連絡を行います。飲食店へご連絡する障害の復旧が遅れる場合は、障害発生の第1報を飲食店・お客様に現在復旧対応中の旨をご連絡します。障害対応が既に完了している場合は、その旨をご連絡します。連絡方法はトレタのサービスサイトに障害情報を掲載トレタアプリのお知らせ欄に掲載トレタにログインしているアカウントのメールアドレスにメールで送信カスタマーサポートチーム・担当セールスから直接電話でご連絡するのような方法で早急にご連絡します。deployデータの不整合の場合は本番オペレーションにてデータの不整合を復旧アクセス急増などによるパフォーマンス低下の場合はインフラの増強作業を行います。無事復旧したら再度社内共有を行い、飲食店にご連絡を行います。再発防止対策トレタでは社内情報共有にesaを利用しています。カテゴリに障害情報を記録しています。全て詳細に書いています。障害復旧の翌週の全社員が集まるホームルームでも障害報告を行い、再発防止に努めています。まとめトレタではSaaSを提供する企業として障害を発生させないために日々全力を尽くしています。万が一障害が発生したときのために、対応フローを明確に決めておくことで、実際に障害が発生したときのお客様への影響を最小限にする工夫をしています。今回はトレタの障害対応事例をまとめましたが、私個人としても、各企業の障害対応のフローに興味があるので、この記事を読んだ方々に自分の企業ではこんな風に対応しているというのを共有していただけたらと思います。2019に参加してきました!こんにちは。2018の24日目の記事です。2017の18日目の記事です。#railsdmサーバサイドエンジニアの中村です。»トレタ開発者ブログ飲食店向け予約/顧客台帳サービス「トレタ」、超直前予約アプリ「トレタnow」の開発メンバーによるブログです。Blogスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。