分布:頻度に対数を取ったもの。wordの出現頻度は1,2,3のものが非常に多い。z)[例]:Sumは(a)(b)を満たす。2014はじめにテーマは,Facebookが公開した新しい分散処理基盤,Presto。実はFacebookが彼らの超大規模なデータセットに対してインタラクティブに結果を返せるようにと開発されたものです。開発が始まってまだ2年も経っておりませんが,今ではトレジャーデータを初めとして多くのハッカー達がコミッターとして参加する活発的なプロジェクトに成長しています。バッチ処理の悩み今までのHiveにおいては以下の様な問題を持っていました。ダッシュボードやBIなどのフロントエンドから直接HDFSからデータを取得して(インタラクティブに)可視化するのが難しかった。Hiveはバッチ処理を目的としていたので数秒で結果を返すことができないから。ODBCとの接続性が不安定であった。Prestoでは、このような問題を解決してくれます。高速なクエリ実行と、BIツールとの接続1つは大規模データセットに対してもインタラクティブなレスポンスを返すことでデータマートを立てなくても良くなったこと,さらにODBC/JDBCの接続性が良く,BIなどからも簡単に繋げるようになったことが挙げられます。これによってHiveは定時的に高負荷の集計を回すバッチエンジンとして,Prestoは高速レスポンスによってフロントエンドとインタラクティブに繋がるエンジンとして明確な役割分担を行えるようになりました。etc...)に対して一度に集計を実行することができるところにあります。これは毎回のクエリごとにデータソースを切り替えるだけでなく,一回のクエリ内で,複数のデータソースからデータを参照できるという点で画期的でした。プラグインを作成してしまえば,他のデータソースにも柔軟に対応してくれます。タスクについて各種プランナーに関してPrestoでの注意点:メモリキャパシティエラーHiveは実行されると数段のMapReduceジョブへと変換されますが,ImparaやPrestoは個々のタスクが並列で動くような別の計算モデルを採用しています。中間データをメモリに持つことでタスク間のデータのやりとりを高速にしています。Overview)クエリが失敗してうまく実行できない時に気をつけることコメント0件のコメントログインしてコメントを残してください。