2015.12.27この記事は約1分で読めます。以前impalaのudfについて調べていて、何か書いてみたいなと思っていた。udfとmrubyをテーマに、impalaのudfでmrubyが実行できるimpala-udf-mrb_evalを書いてみた。c++、mruby、どちらも経験が浅いのでコードは稚拙ですが、一応こんな感じで動作します。大規模なデータセットで試してはないですが大きなデータセットで試すと現状だと十分なパフォーマンスがでない。表現が広がっていい感じです。ProcessRDMBSからHDFSヘ一部のテーブルをインポートする必要があり、CLIベースのsqoop1.xを触っていたのでメモする。HAしてから,以下のWARNメッセージがStandbyNameNodeのログに定期的に出力される。結構な頻度で書き込まれ,また診断のログの方にも上がってくるので何とか抑制したい。Managerの画面でテーブルのサンプルを閲覧するとExceptionになってしまう。SqoopSqoopを使ってRDBMとHadoop間でデータ転送を行なっている。Sqoopは、MapReduceジョブを実行し複数のMapタスクで並列にインポートやエクスポートを行なう。hive-jdbchive-jdbcと一緒にcommons-dbutilsを使う場合。コメントをキャンセルメールアドレスが公開されることはありません。»タイトルとURLをコピーしました。