Impalaの発表をしてきました。外道父を呼べば?から始まって、1分かからず依頼ツィートが飛んできて引き受けた感じで、Twitterで数分で全てが完結する非常にフットワークの軽い業界になります。それでは、発表資料や補足などを書いていきます。@oza_x86発表資料60分の内容としては十分詰め込めたと思うのですが、それよりも私のHadoop/Hiveロゴの好きっぷりをよく表せたかな、と満足しています。検証していて、アレもコレもやんなきゃなーというのはいっぱいあったのですが、資料に詰め込むのはそれなりの量と簡潔さにしなくちゃなので、上記資料だけではまだまだ気になる点は多かったと思います。発表後の質疑応答やツィートなども踏まえて、検証しなくちゃリストはこんな感じになります。検証しましたが、fieldを指定するとHiveでは動きが結構異なる、ということで確かに気になるところです。WHERE句WHERE句をつけたクエリを試していないので、これも比較できればなと。お話を聞く限りは、絞った分は速くなっても負荷分散はされなさそうですね。memoryに持っていけるかもしれません。INSERTしてみるSELECTばっかりでINSERTをやっていないので、これもHiveと比較してみなくちゃです。使えるクエリ一覧を見る限りは、今のところSELECTとINSERTしか重要なのはないですね。tcpトラフィックはどんな感じか話の中でも出しましたが、impalaのCPU処理が停滞気味になるタイミングがあり、HDFSファイルの転送に時間がかかったりしてるのかな、と予想しました。ノード間のトラフィックも計測してみるべきですね。追加する、というのを資料に書き忘れました。impaladに、複数クライアントから同時にクエリを発行したら処理順序とか負荷はどうなるのかな、と。ツィートによると、GAでは全実行ノードの総メモリを使うようになる、とのことなので、効率面と安定面に期待したいところです。impalaはいいものであることは間違いないけど、まだまだユーザが少ないので、サッサとCDH4にしてどんどん検証して、皆でClouderaの中の人にゴリゴリ報告してよりいいものになっていくというスピーディーな展開を作っていきたいですね。最後に、資料内で活躍したimpalaロゴ案の画像でも添付して終わりにしたいと思います。このロゴに決定したくないなら、中の人は早く正式なロゴを公開するとよいのではないでしょうか。23:03外道様いつも興味深く拝見しております。ManagerのImpala(GA版)を使っていますが、スレーブのExcecuterは動いてはいるんですが、なんだか手を抜いているような、大してCPUを使ってくれないような状況です。数百MB程度のログなので何ともですが。ちなみにHbaseをストレージにしたHiveテーブルを利用しています。Hive自体は以前HDFSで組んだものより大分重く感じます。ImpalaもHbaseよりHDFSの方が早いとか有るんでしょうか。Fluentから直接テーブルにぶち込みたく、Hbaseにしたんですが。コメントをキャンセルメールアドレスが公開されることはありません。data-url="">外道父ドリコムで主にインフラエンジニアをやっている何でも屋。WordPress.。