10』手順実践AWS特集Redshift2016年09月28日しんや(660)8この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。10』手順実践』の第9弾です。課題#9の『非効率的なデータロード』について内容を見て行きたいと思います。10データをS3から取り込む際にはCOPYコマンドで所定のファイル、もしくは所定のバケット・フォルダ配下のファイル一式を所定のテーブルに取り込みます。その際に推奨されている手順としては以下のものがある、とエントリでは紹介されています。テーブルは下記public.customerを利用します。これはRedshiftのチュートリアルで活用されているものです。all;CREATE初期投入データもこのチュートリアルから投入。'us-west-2';この投入済みデータを所定のバケットに吐き出したものを使いたいと思います。OFF;上記内容のファイルは単一ファイルとして出力させたものです。redshift-customer000件数はちょうど300万件、中身はこのような形になっています。パイプ区切りのデータです。9|ETHIOPIA|AFRICA|15-741-346-9870|HOUSEHOLDS3ファイルのCOPY処理検証:単一ファイルの場合まずは単一ファイルの場合、どれ位時間が掛かるか試してみる事にしましょう。上記アップロード済の単一ファイルCOPY処理で取り込みます。'|';都合5回実行してみましたが、およそ20秒近く掛かっていました。2ノードと小さめのクラスタです。ファイルを複数個に分割した時の挙動を確認してみたいと思います。AWSブログの過去エントリにちょうど良さげな『ファイル分割』のサンプルがありましたのでこれを使ってみたいと思います。splitコマンドを使って所定のファイル数ぶん、単一ファイルを分割するというものです。hydroculのメモAWSのドキュメントでは、クラスタが備えるスライス数の倍数にファイルを分割すると効率良くロードが出来る、との記述があります。Redshiftファイルの数がクラスターのスライスの数の倍数になるようにデータをファイルに分割します。スライス間でデータを均等に分割できます。ノードあたりのスライスの数は、クラスターのノードサイズによって決まります。個のスライスがあります。「クラスターおよびノードについて」を参照してください。ノードはいずれも並列クエリ実行に関与し、スライス間でできるだけ均等に分散されたデータを処理します。倍数のファイルに分割します。ワークロードを分割するときにファイルサイズを考慮しません。なるようにする必要があります。手元の環境ではこの様に実行してみました。redshift-customer_分割出来たファイルを所定のS3バケットにアップしたのが以下。redshift-customer_ahこの形で単一ファイル同様にCOPY処理を実行してみます。'|';結果は以下の通り。単一ファイルの20秒に対して、複数ファイルでのCOPY処理はおよそ12秒となり、早くなっています。10』トピック9つめ、"非効率的なデータロード"に関する対処方法のご紹介でした。ファイルのCOPY処理(ロード)に時間が掛かっているという場合、『ファイルの圧縮』及び『ファイルをスライス数の倍数に分割』して取り込む事でロード時間の短縮が図れるかと思いますので是非お試しください。次はいよいよ最終トピックです。6,605,953まとめ職人→出張ブロガー(初代)→AWSエンジニア→ビッグデータ系エンジニアDevelopers.IO全投稿のうち1,000本を書いています。〜ログ収集、監視、分析を触って体感しよう!〜」を開催しますお申し込み受付は終了しました。ありがとうございました。今後セミナーのお知らせを受け取りたい方は、こちらからご登録をお願いします。CAFEのサービスが「LINEアプリ」として利用できるようになりました。これまではLINEのトークから利用する形でしたが、LINEサービス内から利用できるようになりました。これまでより便利に、シームレスにご利用いただけます。Cafe300件のシェア(そこそこ話題の記事)インフラ未経験の私が内定から入社までに読んだ技術書11冊ブログ記事2020年01月16日Yui300インフラ未経験で入社した私がインフラを勉強するために読んだ技術書11冊を感想とともにまとめました。平野重利123Pythonで、標準入力を変換して標準出力に出すCLIプログラムのテンプレートをご紹介します。菊池修治47こんにちは、菊池です。勉強会#1に登壇しました。サーバのみならずネットワーク機器の仮想化も年々進んでいます。スペックに縛られないこととか、展開のしやすさとか初期考慮点が少なくなるのは嬉しいです。武田隆志1098このエントリは、2018年、2019年に公開したAWS全サービスまとめの2020年版です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。CAFEのサービスが「LINEアプリ」として利用できるようになりました。これまではLINEのトークから利用する形でしたが、LINEサービス内から利用できるようになりました。これまでより便利に、シームレスにご利用いただけます。Cafe300件のシェア(そこそこ話題の記事)インフラ未経験の私が内定から入社までに読んだ技術書11冊ブログ記事2020年01月16日Yui300インフラ未経験で入社した私がインフラを勉強するために読んだ技術書11冊を感想とともにまとめました。悠紀235ShifterはWordPress環境をサーバーレスで立ち上げ、静的なサイトを生成することができるサービスです。FAQサイトをサクッと作ってみました。Takumi227こんにちは。DA事業本部の春田です。クラスメソッド株式会社が運営するAWS・iOS・HTML5に関する技術情報サイトです。