2015.06.03この記事は約2分で読めます。impalaでクエリを実行すると,以下のようなエラーが出ることがある。クエリはエラーになる。directory以下のcommunityサイトで質問されている方がいた。memoryで終了するのではなく,パフォーマンスの低下を許容しつつdiskも使って何とか結果を返してくれる。diskで使用されるのが,--scratch_dirs="path_to_directory"で,ドキュメントによるとデフォルトでは/tmp/impala-scratchとなっている。スレーブノードのローカルディスク上で/tmp/impala-scratchを探すとやはりいない。このディレクトリは自分で作成しないといけない?と思われる。上記サイトでも言及されているように/tmpは消去される可能性もあることを想定し,今回は/var/tmpに作成することにした。Managerではscratch_dirsの設定を行なう入力フォームが以下のように用意されている。設定を変更してimpalaサービスの再起動を行なう。Manager4から5へアップデートし,CDH4.7からCDH5.3.2へCMでアップデート。CMでアップロードするとアップデートプロセスをほぼすべてCMが面倒を見てくれるので,とても簡単に移行できる。CDHのバージョンを4.7から5.3.2に上げたときに,Hiveも0.13.1に上がり,オプションのデフォルト値が変わっていたのを見落としていた。joinの最適化に関連するオプションのようで,...hadoopimpalaでmrubyを動かす以前impalaのudfについて調べていて、何か書いてみたいなと思っていた。コメントをキャンセルメールアドレスが公開されることはありません。»タイトルとURLをコピーしました。