Manager5)のうちのCDH5。beta1がClouderaのリポジトリに上がっていたので、速攻でインストールしてみました。0.96、、、とメジャーバージョンのリリースラッシュだったので、現時点でCDH5がベータ1として公開されているのはある意味当然かなと。2.2は含まれていましたが、Hive、Pigは0.11、HBaseは0.95.2でした。5の検証をやっている時間はないので、どなたか試して見てください。以下のように、CDH5のレポジトリを追加します。今回はCentOS6.3の環境にインストールします。どんなパッケージがあるかを確認してみました。ImpalaのパッケージがCDH5に含まれていますね。Imaplaのバージョンは、1.2!ということは、このバージョンからはUDF(ユーザー定義関数)/UDAFが使えるようになっているはずです。0.cdh5b1.p0.81.el6HBase0.96が間に合わなかったのか、0.95.2でした。0.cdh5b1.p0.37.el6HiveHiveは0.11(これもbeta1に間に合わなかったんでしょうね。公開されたのが2週間前ですし、無理矢理パッケージングしてもね。0.cdh5b1.p0.47.el6PigPigも0.11。beta2などでアップデートされるのかもしれません。0.cdh5b1.p0.32.el6それ以外のめぼしいものは、、、MRv1?あと、注目すべきパッケージとしてはNFSv3対応もあります。(Solr)を見てみます。こちらも予定通り、CDHに含まれていますね。Spark調子に乗ってSparkはどこかにあったりして?、、、なんてことはありませんでした。found疑似分散でインストールでは、お約束の疑似分散モードでインストールしてみます。MRv1用の疑似分散の設定ファイルパッケージを使い、手っ取り早く環境を構築。Hadoopは2.2.0になっていることがわかります。MRv1は0.20系なので、基本的にはCDH3、CDH4の後継と見なせますね。NameNodeを起動します。jpsで起動も確認できました。yum.repos.d]#NameNodeのWebUIで確認http://localhost:50070にアクセスします。CDH4とは少し異なっていますね。続いて、MRv1に必要なファイルを作成します。全部のデーモンが元気に動いています。UIは0.20を踏襲しているようなので、変わっていませんでした。最後に、お約束のサンプルジョブを実行して動作確認します。/user/kawasakiユーザーを切り替えてファイルをHDFSにアップロードし、サンプルジョブを実行しました。何事もなく、あっさりと動作確認。3.0などが含まれている、正常進化したCDHだと思います。3.0を試してみます。一般的に、Hadoopは同一構成のサーバを大量に並べる方が、運用が簡単です。非均一な構成は、特に設定ファイルの管理、チューニングが厄介です。ベータ環境を簡単に試す(後編)**この記事の内容は若干古くなっています。Balancer)もあります。カレンダー最終日&CDH5.3.0がリリースされたのを記念に、CDHのリリース履歴を1枚の図にまとめてみました。長いタイトルですが、表記のプロダクト群の新しいバージョンが公開されたようです。それぞれの詳細についてはアナウンスのメールをご覧下さい。Shell、またはAPIを使うのが一般的で、GUIで操作(例えばテーブル作成とか)したいという要望は以前からありました。コメントをキャンセルメールアドレスが公開されることはありません。*サイトProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。(outdated)ホーム検索トップサイドバーProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。