→XENのFaultToleranceでHadoopを完全冗長化できないか検索XENにはFaultToleranceという耐障害性技術があります。現段階ではただの構想ですが、Hadoopなど冗長性が重要なのに機能的に乏しいシステムに適用できないかなーと思い調べてみました。試してみたい構成です。FTは「どれだけ障害に耐えられるか」になります。システムを実現できることになります。これだけ聞けば夢の様な機能なので、新手のXEN使いである俺は調べ始めたのであった...。2つが目につきました。Kemariはしっかりとした日本語の資料があるだけに口惜しいですが、今後はRemusの方を強く追うことになるのかなと思います。Toleranceの基本イメージはこんな感じ。Dom0上でディスクイメージをDRBDで同期し、さらにDomU間でメモリデータをネットワーク越しに同期することでTCP接続などを保つ、といったところです。Remusの動作イメージはこれ。Kemariの動作イメージはこれ。Kemariの比較表がわかりやすいです。ソフトウェアFTとハードウェアFTこれらのようなソフトウェアFTだとディスクイメージとメモリを頑張って同期することで実現するけど、ハードウェアFTだとCPUレベルで処理内容を同期して実現するものが多いようです。特殊なハードウェアを入れると、高いとか、臨機応変に発展できなさそうとか、そもそも楽しくないとか、いう理由をつけて選ぶことはないでしょう。資料を読んだり検討することに意味はあるので、ないがしろにしない程度に。以降を利用できるということで、これと情報の少なさもあり、なかなか手を出しづらいのが現状です。落ちるようですが、メモリ同期のレイテンシはどのくらいか、iowaitに跳ね返ってこないかはたまた完全非同期なのか。DomUそれぞれでどの程度劣化するのかボトルネックはCPUかトラフィックかディスク同期or共有ディスクになるかなどまだ全然わかっていないことが山積みです。ResourceManager)はさほど性能面を求められないため、採用できる可能性はあると考えます。採用できたら、HAだと接続断が発生するとデータロストやジョブの失敗が発生していたところが、一切障害が発生しないことになります。言えば、同じように高パフォーマンスを必要としないが冗長性が重要なサービスは、仮想環境に入れてしまえばソフトウェアに依存せず完全冗長化できるという、まさに夢が広がりんぐなシステムになります。Toleranceの機能自体が不安定で結果的に稼働率が落ちたりしそう、という理由でなかなか手をつけ難いと思います。今、下手に突っ込んでもエンジニアの自己満足で徒労に終わりそうなので、今後に期待したいと思います。コメントをキャンセルメールアドレスが公開されることはありません。data-url="">外道父ドリコムで主にインフラエンジニアをやっている何でも屋。WordPress.。