形式)にエクスポートする機能があります。この機能を用いてテーブルをバックアップしておき、インポートして復旧することが可能です。指定できるので、特定の時間のデータだけのバックアップが可能です。エクスポート機能はMapReduceを用いて実装されていたため、実行中はクラスターに負荷がかかっていました。MapReduce以外にHBaseのコプロセッサーが利用できるようになりました。ストアドプロシージャーのような機能で、リージョンサーバー上で処理を実行します。このコプロセッサー版のエクスポート機能を使うメリットとしてMapReduceの起動コストがないため、リージョン数にもよるが、数が少なければ早い(軽い)MapReduceを使わないため、実行中にクラスターのリソースが消費されないというメリットがあります。逆に、コプロセッサー版には耐障害性がないというデメリットがあります。リージョン数が増えたときのスケーラビリティも気になりますね。ドキュメントを意訳してみました。スキャンのタイムアウト。MapReduceに依存エクスポート機能の注意点として、デフォルトではセルに複数のバージョンがあったとしても、最新のバージョンのみがエクスポートされるということです。複数のバージョンを指定する場合は引数で指定する必要があるのでご注意ください。使用する方法と、コプロセッサーを使用する方法の両方を試してみました。テスト環境では数行のテーブルでおこない、大規模環境では実施していません。ジョブ)と共に、指定したディレクトリにファイルが出力されました。環境で実行したところ、コプロセッサーが登録されていないというエラーになりました。安全バルブにこの値を設定します。変更を保存して関連サービスを再起動し、再度チャレンジ。/tmp/export_x/export-542cbce54de963ef0f0e5b0ced68d642今度は成功です。エクスポート時のバージョン、starttime、endtimeの指定が可能です。デフォルトは最新世代のみ。開始時間(指定した時間が含まれる)。終了時間(指定した時間は含まれない)。ログの出力は次の通り。keepDeletedCells=falseMapReduceの出力結果の「Record」行を見ることにより出力された件数がわかります。records=2出力したファイルのインポートエクスポートしたファイルをそれぞれインポートして復旧してみました。エクスポート機能はデータのみ(メタ情報:テーブル情報はエクスポートしない)なので、インポート前にテーブルを作成する必要があります。<エクスポートしたディレクトリ>新規テーブルを2つ作成し、それぞれインポートした結果です。まとめ環境によって2種類のエクスポート機能を使い分けられるのは便利ですね。コプロセッサー版を使うには少々ハードルが高そうです。これからHBaseを始める方、最新の情報が知りたい方を含め、多くの方にオススメです。分厚い本ですがスクリーンショットも多く、アプリ開発から構築、運用まで幅広い内容になっています。0.98でのファイル配置(HDFS)3日目です。HBaseのバイブルとなっている、オライリーから出版されている書籍、HBase。米国で開催され、本日その資料が公開されました。英語ですが、スライドとビデオの両方が公開されている(ものが多い)ので、興味のある方は参考になるんじゃないかと思います。Labに追加されました。HBase徹底入門ももうすぐ発売される予定、HBaseの1.0.0RCも公開され、盛り上がってきました。以降には「HDFSキャッシング」と呼ばれる、HDFSにキャッシュ機構が搭載されています。手元のCDH5の環境で試してみました。コメントをキャンセルメールアドレスが公開されることはありません。*サイトProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。(outdated)ホーム検索トップサイドバーProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。