ManagerでHBaseのセットアップ未分類2012.06.15なんとEMR上でHBaseが利用できるようになったようです[1]。Guide」[3]の日本語版が来月登場予定[4]とのことです。米国では5月にHBaseCon[5]というカンファレンスが開催されましたが、今後は日本でもHBaseがますます盛り上がりを見せるかもしれませんね!さて、HBaseに関しても、オンプレミスで構築したいというケースは多いと思います。Manager[6]というツールを使うこともできます。Editionは50ノードまで無償で利用することができ、かなり簡単にHadoop/HBaseの環境を簡単に構築できます。Enterpriseのサブスクリプションを購入すると利用することができるようになります。話は戻りますが、もちろん本格的なHBase運用にはインストールだけではなく、設定、モニタリング、ログの収集など運用にまつわる様々な知識も必要になります。ManagerでのHBaseのセットアップはあまりにも簡単でした。これは誰かに伝えねば!ということで、スクリーンショットでその流れをご紹介します。4.0からは日本語のメニューが表示されるようになりました。ブラウザの言語設定で切り替えられるので、他の言語に切り替えることも可能です。下記はHBaseのサービスを追加、起動するまでの手順です。(画像をクリックすると拡大します)サービス一覧:HDFS、MapReduce、Zookeeperが設定済みですサービスの追加画面:ここでHBaseをチェックします依存関係:HBaseにはZookeeperが必要なので、チェック。設定の変更の確認:推奨値が表示されるので、AcceptするかSkipしますクラスタの準備:上記の設定が自動的に行われますおめでとうございます:設定が終わりました。HBaseサービスは開始していません。サービスの開始:全部止まっていたので、HDFS->Zookeeper->HBaseの順序で開始しますサービスの開始(確認):HBaseを開始しても良いかどうかの確認ですサービス開始中:MasterとResionServerが開始しています動作中:無事にHBaseサービスも開始されました。ステータス:良好です(笑お約束のwebUIでの確認。(当たり前ですが)ちゃんと表示されますといったように、深く考えなくてもHBaseを開始することができました。この環境は実験用です。ノードが1台なんて現実ありえませんし、設定もデフォルトのままなので、正しく見直す必要があります。(そもそもデフォルト値が何かを知っておかないと怖い)。ツールに依存してしまうという弊害もあります。わけわからず構築して運用すると、あとで痛い目にあうなんてことがありそうですね。HBaseに限らずですが、正しく理解した上で、ツールを使えるところは使う、使わないところはPuppetやChefなどで設定を管理するなど、環境/状況に応じて利用してみて下さい。Managerについてはまたの機会に。使用するように書かれていることが多いですが、CDHをパッケージからインストールした場合に上記のコマンドの実行は必須ではありません。Hadoopをインストールした後、正しくインストールされているかどうかを確認するために、HDFSにアクセスすることが多いでしょう。いずれかで行うことが可能です。(2011)にインストールを行った。Hadoopのマスターノードとスレーブノード各デーモン間では定期的にハートビート通信を行っています。AirHadoopエンジニアの記事(1)Profilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。(outdated)ホーム検索トップサイドバーProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。