Redshift」も発表した(現在はプレビューリリース)。RA3において他社クラウドDWH比で「3倍」のクエリ速度を実現したが、AQUAの投入によってさらに「最大10倍」にまで引き離すと豪語する。AQUAとはどんなものか。Redshiftのサイトでは「ハードウェアにより高速化された新しい分散型キャッシュ」と説明されている。Processors」のボードが描かれている。これだけではよくわからない。Redshift」を発表ジャシー氏はAQUA開発の背景について、まず2012年以降のコンピュートとストレージそれぞれのスループット向上スピードから話を始めた。その間、コンピュートのスループット(CPUとDRAM間のスループット)は2倍にしかなっていないが、ストレージのスループットは12倍も高速化している。「かつてはストレージがボトルネックだったが、現在はコンピュートのほうがボトルネックになっている」(ジャシー氏)。そこでコンピュートノードをクラスタ化し、処理を並列化させるアイデアが生まれる。この考え方は妥当だが、クエリパフォーマンス向上を求めてコンピュートクラスタをさらにスケールアウトさせていくと、今度はコンピュートクラスタとストレージとの間でデータを転送するネットワークが飽和し、やがてパフォーマンスは頭打ちになる。大規模なDWH環境におけるこの課題を解決するために、従来のアーキテクチャを根本的に見直し、コンピュートクラスタとストレージの間にRedshiftの処理を最適化する新たなレイヤーを設ける。これがAQUA(AQUAレイヤー)だ。AQUAではまず、コンピュート処理の一部をAQUAレイヤーにオフロードする。Processorsボード)を追加し、データ暗号化や圧縮、さらにフィルタリング、アグリゲーションといったクエリ処理の一部もここで実行する。コンピュートクラスタに転送されるのは、AQUAで“下処理”済みのデータだ。AQUAノードはスケールアウトアーキテクチャを採用しており、大規模なデータを処理する場合には、自動的にスケールして並列処理を行う仕組みだ。AQUAはキャッシュなので、処理対象のソースデータそのものはS3ストレージから移動させない。従来のように、コンピュートクラスタにすべてのデータを取り込む(ロードする)処理を行わない。した最適化を行うことで、Redshiftにおいてコンピュートノードやネットワークの負荷を軽減し、従来のボトルネックを解消してより高速かつ大規模なDWH処理を実現可能にするのが、AQUAの狙いである。AQUAのアーキテクチャ図(公式サイトより)。コンピュートノードとストレージの間に、スケールアウトするAQUAレイヤーを設ける。このレイヤーにデータ処理とクエリ処理の一部をオフロード、並列処理させることで高速化を実現するもうひとつ重要なことは、AQUAがRedshiftの中で透過的に処理を行う点だろう。したがってAQUAを利用する場合でも、ユーザーは従来とまったく同じ手法でRedshiftを利用できるという。SageMaker」においても大量の新発表が行われた。引き続き稿をあらためてお伝えする。JAWS中の人が語るさくらインターネットフルSSD化を実現したさくらのVPS、クラウド時代も進化し続ける飯田橋クラウドクラブ(略称:イイクラ)今年も色々ありました。スマホお気に入り一覧マイページ。