System(HDFS)を前提にしたものが増えたように感じます。Prestoや、Sparkとか。今までなんとなく難しそうだなと思って避けてきたのですが、HDFSやYARNが面白そうなので、まずはスタンドアロンな環境を作ってみようと思います。インストールはこちらのサイトを参考にしました。Ubuntu最初は準備編。Javaのインストールapt-getでOpenJDKをインストールしました。openjdk-7-jdk1.7.0_25がインストール出来ました。mode)hadoopグループ、hduserユーザーの追加hadoopは別ユーザーで動かすのが作法のようです。いうか、普段面倒がってrootでログインしちゃうほうがマズいきもしますが。sudoをインストール。hadoopグループを追加。作成したhadoopグループにhduserというユーザーを追加します。追加しています...完了。新しい値を入力してください。これでユーザーの作成は完了です。sshの設定sshの設定を行います。ローカルに、先ほど作成したユーザー「hduser」がパス無しでssh接続できる必要があります。sshをインストール。sshユーザーをhduserに変更。hduserssh-keygenでパス無しのキーを作成。~/.ssh/authorized_keyssshでlocalhostに接続できるか試してみます。初回接続のみ、「yes」と入力する必要があります。law.一回「yes」としておけば、次からは何も入力せずにssh接続できるはずです。localhostこれで下準備は完了です。2.2.0のダウンロードhttp://www.apache.org/dyn/closer.cgi/hadoop/core/ここを見て、近い場所からダウンロードします。今回ダウンロードするファイルは「hadoop-2.2.0.tar.gz」です。作業は引き続きhduserの状態で行いました。/usr/local/srcに移動してファイルをダウンロード。展開後できたhadoop-2.2.0を/usr/local/hadoopに移動します。/usr/local/hadoop/usr/local/hadoopの所有者をhduserに。hadoopHadoop用環境変数の設定Hadoopの起動に必要な環境変数の設定を行います。作業は引き続きhduserの状態で行いました。.bashrcを編集。~/.bashrcファイルの末尾に追加。pasteもう一箇所、/usr/local/hadoop/etc/hadoop/hadoop-env.shにもJAVA_HOMEの記載を行います。JAVA_HOMEの箇所を修正。JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64/最初、ここは変更しなくていいだとと思っていたのですが、「start-dfs.sh」でエラーになります。~/.bashrcこれでhadoop関連のコマンドが使えるようになったはずです。バージョンを表示してみます。/usr/local/hadoop/share/hadoop/common/hadoop-common-2.2.0.jarちゃんとバージョンが表示されました。Hadoopの設定ファイル編集cote-site.xmlを編集します。/usr/local/hadoop/etc/hadoop/core-site.xmlconfigurationタグの間を追加。hdfs://の後は、なんとなくこのサーバーのIPアドレスにしておきました。--><configuration><property><name>fs.default.name</name><value>hdfs://192.168.1.6:9000</value></property></configuration>次はyarn-site.xml。/usr/local/hadoop/etc/hadoop/yarn-site.xmlconfigurationタグの間を追記します。/usr/local/hadoop/etc/hadoop/mapred-site.xmlこれもconfigurationタグの中を追記します。--><configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>あともう少し。次は、HDFSが使用するファイルを作成します。iSCSIみたいな感じでこのファイルの中身が、HDFSを介すと仮想的にHDDっぽく見えるんだと思います。namenodeとdatanodeの2つのディレクトリを作成する必要があるようです。今回は、/var/hdsfに作成しました。/var/hdfs最後に、hdfs-site.xmlを編集し、HDFS用に作成したディレクトリを記載します。/usr/local/hadoop/etc/hadoop/hdfs-site.xmlこれもconfigurationタグの中を追記です。--><configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/var/hdfs/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>file:/var/hdfs/datanode</value></property></configuration>これで設定ファイルの修正は完了です。NameNodeのフォーマットHDDのフォーマットみたいに、最初にnamenodeをフォーマットする必要があるみたいです。hduserで作業を行います。-format(もりっとログが出力される)いっぱいログが出ましたがINFOのみfだったので、多分上手く行ったはず。