石川覚(126)10この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。解説』を受講しました。中心にレポートにまとめました。昭(@simosako)さんです。Redshiftは、すごく簡単に言うと「データウェアハウス用途に特化した速度の出るRDB」です。性能はペタバイト級にスケールアウトできます。データウェアハウス用途のBIやアドホックな分析が得意です。逆に同時に1万アクセスする用途には全く向かないのでそのような場合はRDSやAuroraを選択した方が良いです。早いかというとスケールアウトするからです。実際には複数のコンピュートノードと呼ばれるサーバーに最低1台から128台まで並列分散処理しています。ノードを増やすことでパフォーマンスとディスク容量が増加します。ディスクIOを削減するデータ圧縮やゾーンマップ、ソートキーという機能があります。Redshift(資料)を御覧ください。Spectrum」という新機能です。Spectrumとは簡単に言うと、S3に置いたファイルがあれば、Redshiftにロードすることなくクエリがかけられる機能です。Redshift内部のテーブルと結合することが可能で、同じように集計、フィルタできます。下記の図の1〜3手順で定義すると、クエリを実行できるようになります。外部スキーマ内(データカタログ上のデータベース内)に外部テーブルを定義します。メタ情報を登録します。利用しているわけではなく、全く別のエンジンで動作しています。Layer)」という新しいサービス領域の1000台規模の仮想マシンのパワーを使って読み取ります。S3にデータを置くS3バケットにデータを置きます。置いたS3ファイルにアクセスできるIAMロールを作成します。MetaStoreです)にメタ情報を登録します。外部スキーマ内(データカタログ上のデータベース内)に外部テーブルを定義します。ファイルの種別やテキストファイルの場合は区切り文字、S3ファイルのディレクトリを指定します。通常のSQLが実行可能で、RedshiftのSELECT構文や関数が利用可能です。クエリ実行の流れコンピュートノードの下にある、Spectrum層という新しい領域に対して処理を移譲(Pushdown)して、Spectrum層がノード数をクエリの量に応じて増減させながら処理を実行します。Spectrum層にオフロードできることによって、Redshiftがより多くのクエリを実行したり、別の処理ができるようになります。Spectrum層はS3ファイルをスキャンするだけでなく、フィルタ、結合、集計などできるだけSpectrum層で処理して、Redshiftのワークロードを軽減します。Redshiftクたスタから共有アクセス可能(可用性の向上、ワークロードの分散)ユースケース:定期的に追加されるFACTデータをS3に置くスタースキーマのファクトをS3に置き、Redshiftのディメンジョンと結合して分析します。クエリパフォーマンスの向上)の中でも以下のように解説されています。データベースに置きます。ユースケース:アクセス頻度の低いデータをS3にアクセス頻度の高いデータはRedshift内のテーブル、アクセス頻度の低いデータをS3の外部データを参照するように使い分ける。なると、全てのデータをSpectrumに置き、コンピュートノードを1台で処理できるだろうと考えるかもしれません。Spectrumはコンピュートノードのスライス単位で処理をSpectrum層に移譲するので、極端に大きなデータに対してコンピュートノード数が少ないと性能がでないことをご注意ください。ユースケース:S3上のデータを複数クラスタで共有これまでのRedshiftではできなかった、可能性を感じるユースケースです。S3上のデータを複数クラスタで共有ことで、ジョブ連携や同時実行性能を向上させたり、MultiAZ構成が可能になります。パフォーマンスのベストプラクティスパフォーマンスの向上は、読み取りデータ量をいかに減らすか重要で、読み取りデータ量(S3のスキャンサイズ)を減らすことで、AWS利用費も削減できるというメリットがあります。パーティショニングとは、いわゆるレンジパーティショニングの一種です。クエリのWHERE句の対象となる範囲、例えば時系列データで指定する年・月・日のような日付のような場合に、ディレクトリを年・月・日に階層的に分けて格納します。Spectrum層が読み取る範囲を減らして、速度の向上とコストの削減を実現します。パーティションを追加します。TABLEでパーティション情報を認識させるというTipがあります。tab2AWSCLIからAthenaにクエリ投げると簡単です。Spectrumを中心に解説して頂き、大変満足なセミナーでした。VACUUMが不要になったり、大規模クラスタでは問題となるコミットキューのウエイト問題の回避に有効ではないかと考えています。Spectrumについては、サービス開始当日に検証してブログ化しています。具体的な使い方につきましては以下のブログも御覧ください。1,261,369電気メーカ系SIerのSE、IP電話開発会社の製品企画・開発を経てJoin。Linux、Java、MySQLを中心にウェブ、スマホ、基幹サーバーと何でも屋。リモート】クラスメソッドの会社説明会を開催しますクラスメソッドでは、AWS・AI・ビッグデータ・モバイルなどの技術職や営業のメンバーとして一緒にお仕事をする仲間を大募集しています。#cmdevio新型コロナウイルスの感染拡大を受け、本イベントを延期させていただくことになりました(開催時期未定)。お申し込みいただいた皆様には大変申し訳ございませんが、何卒ご理解いただけますようよろしくお願いいたします。AWSについてライトに色んな情報交換をしましょう。カフェ店長のオカノです。使いたいときの注意点を書きました。本が出ていたので読んでみたところよかったので紹介させていただきます。EC2)環境において、不要な踏み台サーバをなくすことができる便利なアップデートです。臼田佳祐295ワークフロー自動化OSSのn8nをAWS環境で建てて検証してみました。非常に期待できるサービスです。Fargateの勉強をしています。使ってみたい方は参考にしてください。洋介252SnowflakeがAWSの東京リージョン上で稼働するようになりました。データを日本に置けます。芳賀健232こんにちは!猫様の忠実なるしもべ、芳賀健です。Tokyoで開催されました。カフェ店長のオカノです。クラスメソッド株式会社が運営するAWS・iOS・HTML5に関する技術情報サイトです。