CONTAINER技術系のこと書きます。ビッグデータ処理基盤を構築するための超有名なオープンソースソフトウェア。ミドルウェアが動作する一大エコシステムが形成されている。使ってみることにする。インストールするときは、いくつかの会社が出しているディストリビューションを利用することが多い。出しているパッケージをそのまま使ってみる。その方が内部でどんなことをやっているのかとか、どのように設定すれば良いのか理解が深まるだろうと考えたため。以下に示す三つの動作モードがある。使う今回は、その中でも疑似分散モードを試すことにした。実運用に乗せる環境なら確実に完全分散モードになるけど、手元での検証用なら疑似分散モードでも十分に使えそうなので。いうのは複数のホストに細切れにしたファイルを配布した上で、それを各ホストで並列処理できる仕組みを備えたファイルシステムになっている。疑似分散モード、というよりローカルモードを含むシングルホストで動かすときに参照するドキュメントは次の通り。Cluster.もし完全分散モードなら、このドキュメントを参照する。Setup使った環境は次の通り。インストールしておこう。一応、動作確認が取れているバージョンはこのページにあった。今のところ確認されていないっぽい。入れてみることにする。コマンドが使えることが確認する。ダウンロードした上でローカルモードで動かしてみる。いうより、何も設定しない状態ではローカルモードとして動作する。最低限必要なパッケージを一通り入れておく。ミラーサイトは次の通り。好きなところを選んでダウンロードしよう。www.apache.orgダウンロードできたら解凍する。hadoop-2.8.0.tar.gz解凍してできたディレクトリに移動しよう。設定されている必要がある。ディレクトリを指定する。指定することもできる。設定を永続化したいときは、こちらを使えば良さそう。コマンドがエラーにならず実行できるようになる。/home/vagrant/hadoop-2.8.0/share/hadoop/common/hadoop-common-2.8.0.jarいくつかサンプルプログラムを動かしてみよう。これは円周率を計算するもの。ファイルシステムを直接使うことになる。設定ファイルをコピーしておこう。始まる言葉を探してみる。ディレクトリに出力される。いう言葉が一つだけ見つかった。すると、たしかに一つだけ見つかる。in-effect.疑似分散モード続いては疑似分散モードで動かしてみる。これによって、より実運用に近づけた状態で動作確認ができる。経由でホストを操作するので、あらかじめログインできるようにしておかないといけない。そこで、パスワードなしの公開鍵のペアを作ってローカルホストに仕込んでおく。localhostログインできることを確認しておこう。etc/hadoop/core-site.xml続いては設定ファイルを編集していく。etc/hadoop/core-site.xmlこんな感じ。