※CM勢ビッグデータ関連トラックのつぶやきを収集します。デジタルマーケティングに関する最新の事例やテクノロジーが一堂に会し、3月27日(金)、3月29日(日)の二日間にわたってイベントを開催します。Dayの調整中だったセッションがすべて決まりました!この機会に参加セッションを見直してみてはいかがでしょうか?お申込も受付中です。@shinyaa31まとめを更新しました。@suzryoRedShiftの設計、チューニングのセッション。RedShift概要から、クラスタ構成についての解説。@suzryoRedShiftのノードとスライスの話。スライスの数は、ノード上のプロセッサコアの数と同じ。@suzryoRedShiftとRDSとの違い。RedShiftはシングルAZ提供のみ。ゾーン間通信による性能劣化避けるため仕様と考えられる。@suzryoRedShiftのCOPY処理の注意点。CSVインポートにnullは使えない。Oracle等からのデータ移行時には注意。@suzryoRedShiftの文字コードはUTF8。日本語はCHAR型に格納できない。Varcharで4倍相当の値とする注意必要。応じた最適化、ELT処理、BIなど。@suzryoデータ型、RDBMSのスキーマ定義が使えないデータを解析対象とする場合、Rで調査、データ型、文字数を確認。@rada_bashishiRでCSVを読み込ませてデータ型、サイズの調査ができる。@rada_bashishiRedshiftは重複したキーのデータ投入が許される。キー制約違反してもエラーにならない。線形スケールするためにはやむを得ないのではと考えている。@suzryoRedShiftのキー設計。主キーはRDBMSと同じ。制約として機能しないが、クエリプランナーの最適動作のために実施する。@rada_bashishi外部キー、一意キーなど設定しても制約は有効にならないけど、クエリープランナーによって利用される。@suzryo分散キー。EVENランダム配置に任せず、DISTKEYでスライスを明示して利用すべき。@suzryoRedshiftのデータ取込、S3とEC2の選択。S3はエラー無く取り込めるクレンジング済であること、ETL済な事が必要。EC2はVPC、閉塞ネットワークで完結させる必要性がある場合に検討。@suzryoカラム型DBのRedShift、列単位で圧縮が可能。Analyzeで圧縮効率の良い圧縮方式は確認可能。速度を考慮する場合、Analyze結果に従わない事も。2015年3月28日まとめを更新しました。2015年3月30日まとめを更新しました。厳選まとめしんや@shinyaa31日々成長を目論む横浜在住30代。経験/興味関心はJava/Groovy/Scala/Playframework/Agile/Scrum/TDD/Testing/CI/UX辺り。顔を出しては、ブログに参加レポート書いたり諸々まとめたりしています。