SparkのWebUIはアプリケーションの開発時のデバッグにとても役立ちます。UIにアクセスできなかったり、問題が発生してから時間が過ぎてしまい見たかった情報が流れてしまうこともあります。UIで見ることができます。本番環境のイベントログを手元の環境で見ることができるのはかなり便利ですね。Piを実行してイベントログを取るSparkを実行するのはYARNの環境です。今回はSparkのexample、円周率を計算します。Managerでは、クラスタで実行されたYARN(MapReduceやSpark)やImpalaアプリケーションの履歴が一覧ができます。以下のスクリーショットは、先ほどYARNで実行したアプリケーションが表示されています。このディレクトリにあるファイルがイベントの履歴データです。Managerの画面に表示されていたアプリケーションのIDとファイル名が一致しているファイルが該当するログファイルです。アップロードすれば終わりです。dfsコマンドを使ってアップロードしましょう。UIにアクセスして表示できます。SparkのWebUIはアプリケーションのデバッグにとても役立ちます。UIを使って本番環境で取得したログを検証環境で確認したいことがあります。Kuduにデータを書き込むチュートリアルを試してみましょう。NiFiはNSA(国家安全保障局)が開発し、オープンソースとしてApacheに寄贈されたソフトウェアです。5」という記事が公開されました。SparkでWordCountを実行するというものです。Hiveによるバッチ処理をSparkでも実行できるようになりました。5.3でホスト関係のスクリーンショットを撮ってみました。ホスト関係のチャートのみです。チャートライブラリは運用するのに相当役立ちます。beta2が公開されました。リリースノートやcdh-usersメーリングリストのアナウンスによると、以下のコンポーネントが新しく追加されています。コメントをキャンセルメールアドレスが公開されることはありません。*サイトProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。(outdated)ホーム検索トップサイドバーProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。