Hadoopのノード間通信トラフィックは、HDFSのブロックのやりとりや、MapReduceのシャッフル&ソート間で大量に行われます。クリスマスなので、これを可視化して美しく(?)表示してみましょう。Hadoopのマスターノードとスレーブノード各デーモン間では定期的にハートビート通信を行っています。本日はさくらインターネット研究所で実施されたイベントに@naoto_matsumotoさんからお誘いいただき参加してきました。Clouderaから日本語訳が出ると思うので、ここでは概要のみ。Impala情報(まとめ)Impalaに関する情報も増えて来たが、Hadoopアドベントカレンダーに備えてここで一旦まとめておく。@shiumachi氏によるImpalaの説明。初の日本語でまとまっている資料(?)。34Profilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。(outdated)ホーム検索トップサイドバーProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。