(outdated)ホームMapReduceMapReduceの中間データを保持する(2)MapReduce2013.06.11昨年の夏、ブログ、MapReduceの中間データを保持する、を書いてからその後全く確認をしていなかったところ、何とCDH4.1.1で動かないことが判明!(当時はCDH4のリリース前だったので、CDH3で検証していた)結果として原因は些細なことでしたが、かなり試行錯誤してしまい、MLなどで情報収集しても解決せずでした。同様の問題に悩んでいる方もいらっしゃるようです。条件に基づいてファイルを残すkeep.task.files.patternこのパラメータに残す条件を指定しますが、前回からの変更箇所は以下の2点です。正規表現でうまく一致しない。Pattern.matches()で一致するかどうかを判定している。いうように、「"」文字が評価対象になっていました。この2カ所の変更で中間データを残すことができます。file./cache/mapred/mapred/local/taskTracker/training/jobcache/job_201306102232_0010/attempt_201306102232_0010_m_000003_0/output/file.out.index./cache/mapred/mapred/local/taskTracker/training/jobcache/job_201306102232_0010/attempt_201306102232_0010_m_000003_0/output/file.out./cache/mapred/mapred/local/taskTracker/training/jobcache/job_201306102232_0010/attempt_201306102232_0010_m_000000_0/output/file.out.index./cache/mapred/mapred/local/taskTracker/training/jobcache/job_201306102232_0010/attempt_201306102232_0010_m_000000_0/output/file.out./cache/mapred/mapred/local/taskTracker/training/jobcache/job_201306102232_0010/attempt_201306102232_0010_m_000001_0/output/file.out.index./cache/mapred/mapred/local/taskTracker/training/jobcache/job_201306102232_0010/attempt_201306102232_0010_m_000001_0/output/file.out./cache/mapred/mapred/local/taskTracker/training/jobcache/job_201306102232_0010/attempt_201306102232_0010_m_000002_0/output/file.out.index./cache/mapred/mapred/local/taskTracker/training/jobcache/job_201306102232_0010/attempt_201306102232_0010_m_000002_0/output/file.out./cache/mapred/mapred/local/taskTracker/training/jobcache/job_201306102232_0010/attempt_201306102232_0010_m_000004_0/output/file.out.index./cache/mapred/mapred/local/taskTracker/training/jobcache/job_201306102232_0010/attempt_201306102232_0010_m_000004_0/output/file.out[/shell]file.outが中間データのファイルです。v1のスケジューリングアルゴリズム3日目です。Compaction」」です。v2のチューニングドキュメントがあったので共有。wordcountの最終回です。3日目に書いたMapReduceのスケジューラでうち、フェアスケジューラには「プリエンプション」という設定ができます。HA(高可用性JobTracker)についても再度触れておきます。コメントをキャンセルメールアドレスが公開されることはありません。*サイトProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。(outdated)ホーム検索トップサイドバーProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。