各アルファベットで始まるものがそれぞれ何種類あるか(重複はまとめて1つと数える)、を集計する例を基に説明。並列化できるようにすることが必要。目安として、100~10,000の間。データが偏らないようにも注意が必要。その辺の最適化も考えて実行される。※正直私はSpark実行の仕組みをまだよくわかっていません。LINE株式会社)Hiveのよくある失敗を防ぐためのクライアント。作ったりしてくれるので、結果の共有にも便利。株式会社)CDH5.0リリース後にYARNの問い合わせ急増。リソースが足りないと起動すらしない。R&D部)「Mohoutはもういいかな」Sparkを使う際はサンプリング、前処理でデータ減らしてメモリに乗るようにすることも必要。ビッグデータインフラG)某サービスのデータ収集基盤についての話。norikrafluentdelasticsearch+kibanadocker(あとなんだっけ?)※話題のソフトを全部集めて上手に組み合わせている感じです。株式会社サイバーエージェント)1日2TBのデータをFlumeでさばいているという話。独自ログ分析基盤、Elasticsearch+Kibanaに流す。株式会社)「HBaseはもはや火山ではない。今(0.96)は、書き込みは10秒以内、ちょっと遅れて読み込みも復旧する。1.0が出る?議論中。Prestoみんなカスタマイズして使ってる。Hiveは0.12から0.13で大幅に変更されていて大変。すっ飛ばしてメソッドが消えていたりしてひどい。QueueをMRv1の方とYARNのクラスタ両方に投げて検証している。HDPの設定ファイルが使える!!メモリ設定難しい。設定のガイドツールがある。スケジューラがデッドロックする致命的なバグがあるため。Data)BigData用のインタラクティブSQL実行エンジン。Facebookで開発された。2013年にオープンソース化。BIツールの裏側で直に使うには、HiveQLは遅すぎる。MySQLなどのDBのデータと、HDFS上のデータとをJOINしたりもできる。処理できるデータ量がメモリ上に乗る範囲に限られるので、HiveはやはりETLに必要。1から作ると大変なODBC/JDBCドライバ。ドライバを使って実行すると、Prestoのクエリに書き換えて実行するもの。PrestoはMapReduceではない。全てのtaskが平行に動く。その代り、タスクが一つ死ぬと止まる。メモリが溢れると終了。実行できるクエリに制限がある。Impalaとの違い。Impalaの方が速い。Impalaと違って、プロセスが落ちたりしない。(!?)メトリクスが豊富。MySQLなどのDBのデータと、HDFS上のデータとをJOINしたりもできます。Prestogresのアイデアはすごいと思う。長くなりました・・・。興味のあるものがあったらぜひ見に行ってください。他の人がどう使っているのかも知ることができ、とても助かります。運営のみなさんに感謝です。Ochiai数学科出身のソフトウェアエンジニアです。タローと呼ばれています。撮影できる、全天球パノラマ写真の球面印刷のサービスをやっています。球面プリントサービスあと、写真やイラストを切り絵にするサービスも。