米国で6月29日の夜に発生したAmazonクラウドのトラブルは、InstagramやFlipboard、Netflixなど有名なサービスにも影響を与えました。国内のサービスでもいくつか影響を受けたところがあったようです。Region」のポイントを追っていきましょう。今回の障害でもっとも影響が大きかったのが、ロードバランシング機能を提供するELBです。報告書では、ELBの障害の影響は複数のアベイラビリティゾーンにわたり、その原因が未知のバグにあったことが記述されています。ELBは複数のアベイラビリティゾーン(マルチアベイラビリティゾーン)へデプロイできる。この場合、1つのDNSに対して複数のIPアドレスを持ち、WebブラウザがDNSでドメインネームからIPアドレスを引くたびにランダムなIPアドレスが渡されるようになっている。addresses.マルチアベイラビリティゾーンのELBでは複数のアベイラビリティゾーンによる冗長化を行って、特定のアベイラビリティゾーンが落ちたとしても外部からは問題なく利用できるようにしている。end-point.ELBは障害を検知し、その影響を回避するためにDNSのIPアドレスから自動的に障害が発生したアベイラビリティゾーンを除外する。ELBコントロールプレーンはそうしたあらゆる処理、障害時のトラフィック移行、負荷が高まったときのスケール操作、EC2インスタンスの追加削除などを実行する。ELB.電源が失われたとき、ELBのコントロールプレーンはトラフィックの移行を始めた。電源が復帰したとき、多くのELBが未知のバグを引き起こす状態に入った。バグによってELBは、より大きなインスタンスへとスケールを操作しようとした。sizes.その結果、コントロールプレーンのバックログが洪水のようにあふれてしまった。同時に利用者は、電源喪失の影響を受けたアベイラビリティゾーンにあったELBのインスタンスの代替を別のアベイラビリティゾーンで立ち上げようともしていた。zones.これがELBの大量のバックログとなった。ELBコントロールプレーンは米東リージョンの管理要求を共有キューで処理していたためだ。処理にどんどん時間がかかるようになっていった。complete.電源喪失によって直接影響を受けたELBのインスタンスは限定的だったにもかかわらず、ELBそのものは迅速に処理ができなくなってしまい、リカバリのためにほかのアベイラビリティゾーンで新しいインスタンスを起動しようとしていた多くの利用者に対しての処理が遅くなってしまった。Zones.ここから学んだこととして、ELBの処理を複数のキューに分割し、全体のスループットを改善し、かつ、トラフィックの移行のような迅速さが重要な処理をすぐに行えるようにした。バックアップDNSの再重み付けにより、影響があったアベイラビリティゾーンへのトラフィックをコントロールプレーンに依存せず即座に移行できるよう開発を行っていく。RDSが受けた影響と対策マルチアベイラビリティゾーンRDSでは、別々のアベイラビリティゾーンにあるインスタンスの1つがプライマリ、もう1つがスタンバイとなる。プライマリがデータベースの処理を行い、スタンバイにレプリケートされる。プライマリが落ちたときにはスタンバイがプライマリへ昇格する。primary.マルチアベイラビリティゾーンRDSのインスタンスは障害を検知すると、即座にアクションを始める。CNAMEレコードの行き先がスタンバイへと書き換えられる。スタンバイが落ちたら新たなインスタンスが起動され、それが新スタンバイとなる。フェイルオーバーは1分以内に行われる。minute.電源喪失が発生したデータセンターでは、多くのシングルアベイラビリティゾーンRDSのインスタンスが影響を受けた。それらは電源が復活すると再起動し、10時までに大半はオンラインへと復活した。online.電源喪失が発生したとき、大半のマルチアベイラビリティゾーンRDSインスタンスは予定通りに即座に別のアベイラビリティゾーンのスタンバイをプライマリへと昇格させた。RDSインスタンスがフェイルオーバーに失敗した。このバグは4月にストレージ障害に対応するために行った変更に起因するものだった。failure.それは特定の通信障害のときに現れるものだったが、今回の件ではさまざまなシャットダウンシーケンスが発生し、これがフェイルセーフのトリガーとなって、フェイルオーバーを完了させるためにマニュアル操作が必要になった。failover.大半のケースで、マルチアベイラビリティゾーンRDSのフェイルオーバーは午後11時までに完了した。RDSインスタンスのフェイルオーバーで発生した問題の解決のため、このバグの緩和策をテストし、数週間以内に展開していく予定だ。Niino(jniino)IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。Feed最新記事10本ITエンジニアが投票した「ITエンジニア本大賞2020」ベスト10発表。Kubernetes」が正式版に。ElasticsearchやKibanaなどをKubernetes環境にデプロイ、Operatorにより運用も容易にKubernetesとコンテナの実行に最適化された統合システム「Diamanti」のアーキテクチャはどうなっているか[PR][速報]AWS、2021年初頭に大阪リージョンを開設すると発表。10へログイン可能に。10へ拡大Google、コーディング不要でアプリケーション開発ができる「AppSheet」買収。WebAssembly」正式版を5月にリリース。usPublickeyについて/運営者についてお問い合わせ広告についてプライバシーポリシ。