要件定義の不安をなくす。要件定義の不安をなくす。ユニファのバックエンド分割に学ぶイノベーションメタバース開発に必要な技術の基本知識をおさらい。Boost」など、さまざまなカンファレンスを企画・運営しています。BOOKS(コードジン・ブックス)は、CodeZineの連載からカットアップした、開発現場の課題解決に役立つ書籍シリーズです。2008/06/27DBGoogleツイート前回はHadoopを1台のマシンにインストールし、簡単なサンプルプログラムを実行しました。HDFSやMapReduceについても解説しました。今回は複数のマシンへのインストールを行います。その後、大規模なデータを実際に処理し、その性能を測ってみたいと思います。まとめ1.前回のおさらい前回はHadoopを1台のマシンにインストールし、簡単なサンプルプログラムを実行しました。HDFSやMapReduceについても解説しました。今回は複数のPCへのインストールを行います。その後、大規模なデータを実際に処理し、その性能を測ってみたいと思います。情報科学科で学生用に解放されているクラスタを使用しました。c0-23)で構成されており、1GbpsのEthernetで相互に接続されています。すべてのノードの/homeディレクトリはNFSで共有されています。計算ノードのスペックは次のとおりです。2.6.9-67.0.15.ELsmp今回は、上記の環境を利用した場合の手順を解説しますが、同じ要領で2台からセットアップできます。3.Hadoopのサーバ構成Hadoopは「JobTracker」「TaskTracker」「NameNode」「DataNode」という4つのサーバから構成されます。JobTrackerとTaskTrackerはMapReduce処理、NameNodeとDataNodeは分散ファイルシステム機能を担当しています。Hadoopを動かすクラスタでは1台が「masterノード」、その他のノードが「slaveノード」となります。「Job」はMapReduceプログラムの実行単位です。Jobは複数の「Task」に分割されます。Taskには「MapTask」と「ReduceTask」の2種類が有ります。MapReduceプログラムを開始すると、まずクライアントはJobTrackerにJobを「Submit」します。JobTrackerはSubmitされたJobをTaskに分割し、TaskTrackerに分配します。Taskを処理します。NameNodeはファイルの権限等のメタデータを管理するサーバです。DataNodeは実際にデータを保持する役割を持っています(前回記事参照)。以上を踏まえた上で、実際にインストールしてみましょう。並列プログラミングや、大規模システムソフトウェアに興味があります。3.12」の最初のベータ版がリリース新着記事一覧を見るイベント今後の予定を見るCodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。イラストの無断転載を禁じます。記載されているロゴ、システム名、製品名は各社及び商標権者の登録商標あるいは商標です。