UIに記載されている項目の意味について(日本語で)まとまっている情報がなかったのでまとめてみました。2.xへの対応と、SparkSQL、SparkStreamingは別途記載する予定。間違いを見つけたらコメントお願いします。m(__)m下記のスクリーンショットは原則としてDFSReadWriteTestサンプルを用いて実行し、網羅できない範囲はサンプルコードを用いて実行しています。スクリンショットをクリックするとポップアップします。ジョブの詳細へのリンク。ジョブ全体のイベントタイムラインこのジョブのエグゼキュータおよびジョブの開始、かかった時間、失敗、成功など情報を時系列で表示。チェックボックスにチェックすることで、タイムラインの拡大/縮小も可能。この図では、Executor/Driverが登録され、その後2つのジョブが順次実行されていることがわかる。Failed)におけるステージ一覧。ステージ詳細のリンク。入力サイズ(各タスクの合計)。出力サイズ(各タスクの合計)。イベントタイムラインそのジョブでのエグゼキュータおよびジョブの開始、かかった時間、失敗、成功など情報を時系列で表示。チェックボックスにチェックすることで、タイムラインの拡大/縮小も可能。DAGのビジュアル化そのジョブのDAG(有向非循環グラフ)を表示。各ステージにおけるRDDの関連性がわかる。Vidualizationのボックスをクリックすると、各ステージの詳細画面に遷移する。Visualizationでグラフの中心が緑色のドットになっているRDDは「永続化」されているという意味。各タスクのローカリティレベル(とその数)。個のタスクのメトリクス情報の要約。DAGのビジュアル化そのステージでのDAG(有向非循環グラフ)を表示。各ステージにおけるRDDのリネージの関連性がわかる。toDebugStringのビジュアル化したものと考えると判りやすいかな。追加メトリクスを表示するためのチェックボックスがある。イベントタイムラインそのステージで、スケジュールの遅延、実行などにかかった時間を色分けして時系列に表示。Scalingのチェックボックスにチェックをすることで、タイムラインの拡大/縮小も可能。タスクのメトリクスのサマリ当該ステージでのタスクのメトリクスに関する情報。エグゼキュータ上でタスクのでシリアライズにかかった時間。タスク実行中にエグゼキュータがJavaのガベージコレクションで一時停止に費やした時間。タスクの結果をドライバに返す前に、エグゼキュータでタスクの結果をシリアライズするのにかかった時間。ドライバーがWorker群からのタスクの結果をフェッチするのにかかった時間。シャッフル、集約、ジョインの間に作成された内部データ構造の最大サイズの合計。peakExecutionMemoryメトリクスに基づく。SQLのジョブでは、すべてのunsafeな操作、ブロードキャストジョイン、外部ソートのみを追跡。(sc.textFileなど。HDFSやローカルファイルシステム)から読み込んだバイト数とレコード数。inputMetrics.bytesReadとinputMetrics.recordsReadメトリクスに基づく。(sc.saveAsTextFileなど。HDFSやローカルファイルシステム)に書き込んだバイト数とレコード数。outputMetrics.bytesReadとoutputMetrics.recordsReadメトリクスに基づく。エグゼキュータで集計したメトリクス当該ステージでの各エグゼキュータで集計したメトリクスの情報。Executor)※この例はローカルモードで実行しているので分散環境の表示とは若干異なる。エグゼキュータのID。エグゼキュータを実行しているホストのアドレス。(sc.textFileなど。HDFSやローカルファイルシステム)から読み込んだバイト数とレコード数。inputMetrics.bytesReadとinputMetrics.recordsReadメトリクスに基づく。ステージにシャッフルで書き込むステージがある場合、ローカルへの書き込みとリモートエグゼキュータへの書き込みを含んだ、シャッフルのバイト数とレコード数の合計。タスク毎のメトリクス当該ステージでの各タスクのメトリクスの情報。1〜9までは3.4、タスクのメトリクスのサマリと同じ。(sc.textFileなど。HDFSやローカルファイルシステム)から読み込んだバイト数とレコード数。inputMetrics.bytesReadとinputMetrics.recordsReadメトリクスに基づく。エラーがあった場合エラーの最初の行が表示される。(Storage)永続化に関する情報を表示。DFSReadWriteTestは永続化を行わないため、下記のようなコードを書いて実行した。(Tachyonなど)にキャッシュしたサイズ。永続化で一覧されたRDDのうち、指定された特定のRDDのストレージ情報ほとんどの項目の意味は永続化に関する情報と同じ。環境(Environment)環境(JDKのバージョンやプロパティ)に関する情報を表示。エグゼキュータ(Executors)エグゼキュータのサマリと各エグゼキュータの情報を表示。この例はpersist()時にOFF_HEAPを指定して失敗させた結果が表示されている。エグゼキュータのID。エグゼキュータを実行しているホストのアドレス。Summitが開催されています。Sparkはテクノロジープレビュー扱いです。現時点ではサポート対象外なのでご注意を。(2014/12版)4日目です。5」という記事が公開されました。SparkでWordCountを実行するというものです。日本語版ドキュメント。何かと参考になると思うのでメモ。誰が翻訳しているのかわかりませんが、このようなドキュメントはありがたいですね。Sparkはインメモリで処理を行いますが、ReduceByKeyなどでシャッフルされるような場合はディスクに永続化されます。)の説明が後半にあるのであれば、ページ内リンクかひとことあると嬉しいです(あるとは思わなかったので嬉しかった)。PMコメントありがとうございます!大変遅くなりましたが対応しました。コメントをキャンセルメールアドレスが公開されることはありません。*サイトProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。(outdated)ホーム検索トップサイドバーProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。