2014.01.16この記事は約3分で読めます。fluentdでHDFSへ書き込んだログをImpalaですぐに実行したい。StateStoreの構成で試験的に稼働させている。CatalogdとStateStoreの役割については,いつも参考にさせていただいているKernel023さんの参考リンクに詳しく説明されている。Catalogdサービスを動かしていればImpala経由で実行したDDLによる変更は,クラスタ内の他のImpaladにも反映されるようだ。Noneとエラーになる。metadataと実行することは問題ない。TABLEでHiveで読めるようにしている。時間単位のログはDailyでHiveのDBディレクトリ直下に圧縮して保存している。いずれも,Hive経由で処理しているので,時間単位とDailyでの更新をImpalaへ別途通知する必要がある。Impalaに更新を通知するのにどうすればよいものかと思っていたが,結局以下のようにして現状対応することとした。<table>を実行。metadataだと時間がかかるので,テーブル指定で変更のあるテーブルのみに適用する。<table>を加える。metadataを実行。これでしばらく様子を見てみる。UIのインターフェースがあるようだった。JDBC経由での実行については,以下にサンプルを公開してくれている方がいるので参考にさせていただいた。hive-jdbchive-jdbcと一緒にcommons-dbutilsを使う場合。Manager4から5へアップデートし,CDH4.7からCDH5.3.2へCMでアップデート。CMでアップロードするとアップデートプロセスをほぼすべてCMが面倒を見てくれるので,とても簡単に移行できる。directoryimpalaでクエリを実行すると,以下のようなエラーが出ることがある。クエリはエラーになる。以下のcommunityサイトで質問されている方がいた。..."のようなメッセージが出力されます。SqoopSqoopを使ってRDBMとHadoop間でデータ転送を行なっている。Sqoopは、MapReduceジョブを実行し複数のMapタスクで並列にインポートやエクスポートを行なう。コメントをキャンセルメールアドレスが公開されることはありません。»タイトルとURLをコピーしました。