@shiumachiHadoopはJTを再起動するとジョブを完了したかどうかを忘れる。ログディレクトリ上のジョブ設定xmlファイルはジョブ完了後24時間経つと削除されるが、たまに削除されないのはこのためである。@okachimachiorz1Hadoopで分散処理を考えるときは、2通りの検討の仕方がある。一つはデータ処理フロー自体を並列処理ができるかどうか?という検討と、データモデル自体がDAGのようなグラフ構造になっているかどうかだ。comparatorの実装を替えると処理対象の境界を切ることができる。joinのテクニックとしてもよく知られており、時系列データの分析では自己結合として使うと便利。@nemoton分散処理で重要なのは、処理を結ぶためのNW。プログラマが意識することなく、Hadoopは効率よくNW運用を行う。CPU内でメニーコア化/NW複雑化が進み、効率よくコア間処理を行うためにHadoopをチップ上で活用する研究も。@shot6Hadoopを使うときに最もボトルネックになりやすいのはHadoopにデータが入る部分、MapReduceの中間、そしてHadoopから出て行くところの3つ。Mapへの入力になるデータのスプリットの単位はとても重要。次は@Guutaraさん。@GuutaraCPUとDISKとメモリを物理的に、並列に並べ資源を使い果すのが、Hadoopの目指す道。そこには計算処理の分散と、データ処理の分散がありどちらも試す価値はあります。高価で分散の妨げです。@ryu_kobayashiHadoopはNameNodeがSPOFになるのでファイルサーバにはできない。セカンダリNameNodeがあったとしても、完璧なスナップショットが取れているわけではないので完璧に復旧をすることは難しい。@ashigeru並行して動作できる複数のReducerは、セカンダリソートを利用して一つにまとめられる。JobをJava以外で書く方法。Hive,Pig,Jaql,PapyrusなどのDSL、Streaming,Pipesなどのパイプ実行など。Streamingは思ったほどパフォーマンスが落ちない。@kzk_moverHadoopは並列処理を初めて身近なものにしてくれたソフトウェア。@kkawamuraHadoopクラスタはコモディティサーバで構成されるが、コモディティサーバとは安価なサーバや使い回しの古いサーバでよいということではない。処理の特性やデータ量からCPU、メモリ、ディスクを見積もることが必要。は大きすぎるので小さめの値を設定した方が良い。@hamakenHadoopは大量データアクセスのためにスループットを優先。大量データから小さなデータを低レイテンシで見つけるための道具ではない。前処理などにHadoopは有用だったりする。@shiumachiおおっと、私は書いたのでパスで。@tatsuya6502MapReduce処理の設計が苦手なら、スプレッドシートを使うとよい。表の各行がMapの入力で、行の小計が出力。小計列の合計がReduceの出力になる。@bohnenNamenodeは全てのデータチャンクの物理配置を保持し、メモリに展開するので、hadoopクラスタのデータ量に応じたメモリが必要。@yoh_okunoMapReduceの中間データを削減する方法の1つに、Stripesパターンがある。keyの一部をvalueに移すことでエントリ数が減るので、Shuffleフェーズが軽くなる。@mogemogurccコマンドを使用することで、MapReduceの型(Java、C++)を作成できる。streamingでmecabとか使うときはtasktracker全台にインストールが必要。エラーログは出ないので注意。@issayDatanodeにはHTTPサーバが立ち上がっていて、HDFS上のファイルをHTTP経由でダウンロードできる。fileでダウンロード可能。動かすプロジェクトがある。オープンソースでないものもある。@m_mouriHadoopというと並列分散に注目されがちだが、実は1台で使っても数百倍も速くなるときがある。I/Oがボトルネックになっているときは、MapReduceが適用できないか検討する。@yanaokiReduce-Side-Joninは、WritableComparableな複合キーと、そのセカンダリソートを利用する。DITPwMR本でいうところの「value-to-key-conversionパターン」。@tatsuya6502MapReduceの二次的な入力としてキーによるルックアップが必要なときは、索引付きファイルを使う方法もある。HFileはHDFSに最適化された索引付きファイル。HBaseのために開発されたが単体でも使用できる。皆さんの協力のおかげで着々といいものができつつあります。