PigなどHadoopも含めて関連技術を勉強中なので、MapReduceモードでPigを動作させるためにHadoopをセットアップしてみました。Hadoopをインストールして実行を確認してみます。2.5.0をシングルノードクラスター(疑似分散モード)としてセットアップしてMapReduceのサンプルを実行するまでの手順を試した際のメモになります。Cluster.の手順に沿ったものです。14.04のデフォルトのJDKをインストールします。14.04にはどちらも標準でインストール済みです。Hadoopのインストールこの記事を書いている時点の最新は2.5.0です。Mirrorsよりhadoop-2.5.0.tar.gzをダウンロードします。http://apache.petsads.us/hadoop/common/hadoop-2.5.0/hadoop-2.5.0.tar.gzダウンロードしたアーカイブをインストール先のディレクトリに解凍します。hadoop-2.5.0.tar.gzコマンドのディレクトリへパスを通します。/etc/profileJAVA_HOMEをhadoop-envに指定します。dfsadmin疑似分散(Pseudo-Distributed)モード疑似分散モードとは、HDFSデーモンのNameNodeとDataNode、YARNデーモンのResourceMangerおよびNodeManagerをすべて同じサーバー上(localhostまたは127.0.0.1)で起動するモードです。設定ファイルはetc/hadoopディレクトリにあります。core-site.xmlにproperty要素を追加します。</property></configuration>hdfs-site.xmlにプロパティdfs.replicationを1にセットしたproperty要素を追加します。</property></configuration>localhostにパスフレーズ無しでsshで入れるか確認Hadoopは、ssh越しに各デーモンを起動します。これは疑似分散モードでも同じです。sshはパスフレーズ無しで入れるように設定する必要が有ります。以下のようにsshコマンドでログインできることを確認します。localhost入れない場合は以下のコマンドを実行します。~/.ssh/authorized_keysファイルシステムをフォーマット初回は、デーモンを起動する前にフォーマットが必要です。(Enter)...HDFSデーモンを起動HDFSデーモンの起動はsbin/start-dfs.shを実行します。起動したかjpsコマンドで確認。NameNode、DataNodeがあれば正しく起動されています。job_local1945689622_0001...HDFS上に結果が出力されていることを確認できます。上記は、HDFSは使っていますが、MapReduceジョブはローカル実行されています。ジョブを分散実行するためには、YARNデーモンを起動し、MapReduceの実行がYARN上で実行されるように設定をする必要があります。NameNodeexampleを再び実行。今回はJobがYARN上で実行される。