2014.01.08この記事は約3分で読めます。Managerの画面でテーブルのサンプルを閲覧するとExceptionになってしまう。jarできないのでエラーになってしまう。jarしてクエリを投げるとサンプルも正常に閲覧できる。セッションが残っている間は有効なのだろうか。textfile;ということで,Beeswaxでデフォルトでjarをクラスパスに設定できないかと。http://stackoverflow.com/questions/19135869/best-place-for-json-serde-jar-in-cdh-hadoop-for-use-with-hive-hue-mapreduceと書かれており,Beeswaxではhive-env.sh方式と同様にHIVE_AUX_JARS_PATHを使って,HiveServer2はhive.aux.jars.pathを使って指定できるみたいだった。ManagerのBeeswaxで安全バルブを探してみたけど見つからない。そこで,hive-site.xmlの安全バルブに試しに以下のように指定してみたところ上手くいった。Beeswaxサービス起動時にここをみているようだ。--><property><name>hive.aux.jars.path</name><value>/tmp/csv-serde-1.1.2.jar</value></property>パスの指定は,ローカルファイルシステムでディレクトリでなくjarの絶対パスの指定で上手くいった。HDFS上のパスやローカルファイルシステム上のディレクトリを指定してみたが動作しなかった。これで,サンプルのタブを開いても結果が正常に表示されるようになった。ちなみに,環境は以下。コピーbyebyehaikikyouをフォローするbyebyehaikikyouDEBUGLIFE関連記事hadoopimpalaでmrubyを動かす以前impalaのudfについて調べていて、何か書いてみたいなと思っていた。SqoopSqoopを使ってRDBMとHadoop間でデータ転送を行なっている。Sqoopは、MapReduceジョブを実行し複数のMapタスクで並列にインポートやエクスポートを行なう。Sqoopはコマンドラインからsqoopコマンドを実行する...hadoopImpalaのmetadataの更新fluentdでHDFSへ書き込んだログをImpalaですぐに実行したい。StateStoreの構成で試験的に稼働させている。Manager4から5へアップデートし,CDH4.7からCDH5.3.2へCMでアップデート。CMでアップロードするとアップデートプロセスをほぼすべてCMが面倒を見てくれるので,とても簡単に移行できる。CDHのバージョンを4.7から5.3.2に上げたときに,Hiveも0.13.1に上がり,オプションのデフォルト値が変わっていたのを見落としていた。コメントをキャンセルメールアドレスが公開されることはありません。»タイトルとURLをコピーしました。