エコシステムのユーザーインターフェースを提供するオープンソースのソフトウェアです。Apps.」と書かれています。データアプリケーションを開発、アクセスする方向けのワークベンチというポジションを目指しているようです。啓蒙活動をしており、過去のブログにもいくつかの記事を書いています。Hueって何?という方は以下をご覧ください。画面構成が大きく変更されました。この変更はユーザーからのフィードバックを受けて行われたようで、利用者があまり画面を切り替えずにデータにアクセスできることを目指しています。HiveやImpalaでクエリを書いている途中、アナリストはHDFSやS3、ADLS上にあるCSVファイルの内容を確認したいことがあります。クエリの実行中にMapReduceジョブの状況を見たり、Impalaのクエリのプロファイルを確認したい場合があります。クエリエディタでHiveやImpalaのクエリを開発/実行中に他の作業を行う場合、画面を切り替えて作業を行う必要がありました。例2:HDFSブラウザさらにMapReduceのステータスを見るには、ジョブブラウザに切り替えが必要になります。作業中にファイルの内容を確認したり、あるいはHiveのジョブの状況のチェックや、Impalaのクエリ状況が確認できるようになっています。例4:クエリを記述中に関数の構文を確認、またはデータ型のリファレンスを表示もちろんこれらは別のウィンドウを開いておけば実現できる機能ですが、画面を切り替えなくて良いのは痒い所に手が届く感じでかなり便利です。Hueを始めてみようCDH6.1に同梱されているHueの最新版(4.3)をベースにしてHueの使い方を紹介します。Hueのチュートリアルはドキュメント化されています。日本語になっていないことと、一部不親切な記述があるためご注意ください。Browserを開きます。データのアップロード左側メニューの一番下にドラッグ&ドロップしても良いのですが、ログインしているユーザーのホームディレクトリにアップロードされてしまいます。ディレクトリを作成し、そのディレクトリを表示した状態でドラック&ドロップによりアップロードしました。ファイルを展開する機能があるので、チェックボックスにチェックを入れて「抽出」ボタンを押します。zipファイルをHDFS上に抽出するジョブが実行されました。抽出が終わると次のように表示されます。2つのフォルダが作成されています。テーブルブラウザ左側のメニューから「テーブル」を選択しますこの画面には、現在メタストアに登録されているテーブルの情報が表示されています。このSerDeが利用できないためです。CSVファイルからテーブルを作成アップロードしたCSVファイルを使用してテーブルを作成します上記のスクリーンショット右側の「+新規」ボタンをクリックします。タイプは「File」、パスはアップロードしたフォルダを指定します。アップロードしたファイルへのパスを手で入力する必要はなく、画面上から指定すればOKです。選択すると自動的にCSVファイルを解釈し、区切り文字、列、データのプレビューが表示されています。いうアイコンをクリックすると、CSVファイルの内容をプレビューすることもできます。今回は、列の区切り文字はカンマ、レコードの区切りは改行、引用符は二重引用符、ヘッダ行ありのままにしていますが、プレビューした結果に応じて変更すると良いでしょう。「次へ」ボタンを押して先に進みます。変更し、いくつかの要素を変更します。テーブル作成完了なぜか最後にエラーメッセージが表示されましたが、テーブルがは無事に作成されています。使用できない」というものでした。supported.なお、手元の環境ではディレクトリやファイルの権限により、ファイルのアップロード等が失敗するケースがありました。ファイルを/tmpなどにアップロードしてから実行してください。Hiveでクエリを実行それではHiveでクエリを実行してみます。(Impalaを使わない理由は前述の通り)結果が表示されました。データの傾向を見るため、チャート形式で可視化してみます。HiveQLを用い、クエリを実行しながら分析を行うことができます。結果のダウンロードクエリの結果はCSVやExcel形式でダウンロードできます。Excel形式で出力して、表示してみました。Parquet形式に変換し、Impalaでクエリを実行したりSparkで機械学習する方法はいずれそのうちに...まとめHueを使うことで、HDFS/S3/ADSL上のデータの活用が容易になります。BIツールを用いた可視化が目的の場合でも、まずはいろいろな種類のデータを確認しながらアクセスするような場合にHueは向いていると感じます。Hueをインストールするのは面倒だけどHueを触ってみたいという方のためにデモサイトが用意されています。機能が限定されていますが雰囲気は掴めるでしょう。(http://demo.gethue.com)。時々ダウンしていることがあります。Hueの操作は直感的にわかるものが多いです。新しい機能に興味がある方は、日本語版のHueブログを定期的にチェックしてください。Blog関連記事hueHue3.5リリースちょっと遅れましたが6日目です。3.5がリリースされました。今までgithubからソースを落としてビルドしていましたが、バイナリを使ってみましょう。3.5におけるセキュリティの強化についてのブログを翻訳しました。エンタープライズ用途では必要な機能ですね。最近のHueでのセキュリティ強化clouderaHadoopを10分で試す(7)再びHueからHiveとImpalaを使う**この記事の内容は若干古くなっています。SQLライクな言語を使用して、Hadoop(HDFS)やHBa...hiveCSVデータをParquet形式に変換する昨日の続きです。読むのが面倒な方は「まとめ」をどうぞ。昨日はHueでCSV形式のデータをインポートしましたが、このデータをHive以外から利用するには不便です。無念ですが、今日はここまで。いう、玉砕の結果に終わったHueの実験。コメントをキャンセルメールアドレスが公開されることはありません。*サイトProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。(outdated)ホーム検索トップサイドバーProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。