編集可能2016年4月2日お気に入りにするツイートを検索するツイートを削除するツイートを公開する報告するその他ANAシステム障害の原因の発表を聞いたみなさんの反応まとめまとめました。@hdaisデータセンタで石投げればC社の製品にあたるわけで、件の障害の原因がC社ということはあまり意味ないと思います。”なぜ「故障シグナル」が発信できなかったかは分かっていない。@webdevjp結構な再現率だな。パラメータの組み合わせかな。“スイッチの不具合を疑った。@sawadyrr5俺がCIOだったら「シスコのルータにも穴はあるんだね...ANAだけに」とか言って炎上させたと思う。失礼かもしれないけど、ちょっとした機器の故障でシステムが止まって経営層も責任を取ることになる良い例かもしれない。@cesia0712世界初の障害とかだとメーカーサイドも手順持ってない事も多いから、ANAの対応はかなり凄いと思うにゃ。4948Eが原因とわ。シスコでもバグあるのかという驚き(シスコ安全神話?)。DBサーバーが停止した理由が、DBの同期が出来ない時は止まる仕様という、どんでん返し感。@garmyこれ、大学の先輩の専門家によれば、OracleのDBでスケールさせるには同期が必須だという要件の割りにちょっと性能が低いスイッチングハブだそうで。スイッチですね...Catalystです。使うの止めるしか無いのでは。@kuwayamamasayuk「本番環境と同等の作りにしてあるテスト環境」を持てるっていいなぁ。予算がないと,提案しても削られるん所なんだよね。2016年4月2日まとめを更新しました。2016年4月2日まとめを更新しました。間違えてチェックしてしまって...修正済みです。2016年4月2日こういう事例があるたびにOPS側の人たちはすごいと思う。難しい問題なんだなって事だけはわかりました。そいつ自身の報告なんて当てにせず実際にパケット投げあって監視するんじゃん。そもそもDBは異常判定したからこそ止まってるんだからある意味判定自体はされてたわけで...。DB間ハートビートは当然常にやってるだろうが、それが途切れたからってスイッチの障害と特定するのは極めて難しいはず。経路上のサイレント障害なんて本質的にはアプリケーション層では識別できないんじゃねえかな。スイッチの故障をスイッチ以外が識別するのは難しいという話と別に矛盾しないと思うけど。2016年4月2日PDFをみると単にコストをケチって100Mで組んだのが悪かっただけなんじゃと、1Gでやってれば起きなかったような気がする。要するに100Mの口に大量のデータ流し込まれてキャッシュオーバーフローしたってだけの話。キャッシュオーバーフローに対応してなかったのはバグだけどそんな組み方をした開発もおかしいわけで、だから責任者の首が飛んだってわけ。少なくとも「この構成における故障箇所のサーバからの判定可能性」を論じてはいないんだが?君は常に「この構成」を前提にしてるみたいだけど。「スイッチ以外でスイッチの故障を識別するのが困難」というのは機器の構成には依存しないよ。規模に見合ったスイッチだったのだろうか?色々と疑問ばかり浮かんで、これだけの情報で判断するのは無理ですね。2016年4月2日この障害を技術側で改善するなら、対処は以下が想定されます。・Oracleでスプリットブレインもしくは、ハートビート系エラーを重大エラーにする。2016年4月2日サーバ、OS、Oracleとスイッチ、ストレージを統合的に監視して、正常である閾値を決めるだけでっせ。中途半端な故障って事は、通常のハートビートやPingチェック、ポートチェック、物理接続チェックについて「正常」って応答が戻ってきてた可能性もあるわけか。すると最初はサーバ側やソフト側を疑ったとしても不思議はないな。2016年4月2日まとめを更新しました。2016年4月2日まとめを更新しました。中の人、本当にお疲れ様です。2016年4月2日むかしクラスタソフトの開発やってたけど、運用で障害を検出できなかったときに、なぜ検出できないのかということを技術的にいくら細かく説明しても、顧客から「何のためのクラスただと思ってんだ」と強く非難されてしまってたのを思い出した。2016年4月2日たとえば運用系が動作しているかどうか、複数のLAN経由と共有ストレージ経由で監視しているのだけど、LANに障害が起きてしまうと相手サーバがダウンしたのか、サーバは生きてるけど通信ができてないのか、それじたいの判断ができなかったりする。2016年4月3日うーーん。報道内容が事実であれば、残念ながら非機能部分での設計と総合テストあたりでのやらかしだよなあ......。2016年4月3日ただ、どこまでやるか、っていうのはコスト見合いではあるんで、客と合意の上でテスト省略とか、レベル感の線引きしてたりすると、責任分担的にはもつれそうだし、既に瑕疵をいう時期ではないとなれば、客の役員らが責任取る形になるのは分からないではないかなあ。2016年4月3日なんか全然わからないけどすごく感心した。わからないけどすごく感心した。2016年4月3日CISCOのバグを踏み抜くあたりマーフィーの法則を感じる。2016年4月3日まとめを更新しました。2016年4月3日なるほど。役員の減棒も収拾つけるためにはやむなしって判断なんだろな。アメリカでは、昨年の7月にユナイテッド航空が、9月にアメリカンエアラインが、10月にサウスウエスト航空とアレジアント航空が、似たようなしょうもない原因で大規模障害を発生させておきながら、どの航空会社も何の責任も取っていないのだった。2016年4月3日ANA運用陣の完璧な対応は、しかし一般には理解されないのだと思うと心が痛い。2016年4月3日いろいろと多方面にお気の毒としか言いようがない。2016年4月3日スイッチの故障を前提としたシステム構築なんて途方に暮れる。サーバールームに隕石が落ちた場合を想定せよ、くらいに難儀な要件だ。2016年4月4日1時間で復旧できたなら瑕疵にはならんと思うけどな。手作業での代替手段もあったみたいだし、ANAの損害賠償は無理筋だと思う。分かった事は、今回の件でANAはきちんと責任を取ったと言う事。2016年4月5日この件に関しては、ホント「全日空凄ぇ」しか感想は出ないわ。2016年4月5日しっかり対応してるのに減俸て。1度のミスを許さない世間の風潮大嫌い。可用性99.99999999999999%で許されず100%が求められる世界だもの。2016年4月6日これはANAさんの対応が見事だったとしか言えない。文句言う人が絶対いるのだろうな。2016年4月7日この手の役員減額については、会社(法人)への損失補填(または調整)の意味合いもあるからね。懲罰という意味だけでないって考えるとスッキリするよ。2016年4月8日つかさ、日本のJIS規格で部品もちゃんとした所の製品で組んだらIT機器って相当保つよ。2016年4月8日Ciscoの資格勉強を根本的にやり直そうと思った。MAGAZINEで連載してる人です。以前はISPの中の人、最近は業務用のサーバ(RHEL/WindowsServer)の設計・構築をやる人です。2019/11~転職活動中。漫画を描くお仕事します。愛車はK13改とセロー250ちゃん。