ヘルスチェックコマンドを使用して、定期的にローカルのNameNodeにコンタクトします。正常であるとみなします。NameNodeがクラッシュしたりフリーズしたり、あるいは異常になった場合、ヘルスモニターは、それを以上としてマークします。オープンしているセッションを維持します。ローカルのNameNodeがアクティブの場合、特別なロックznodeも保持します。このロックは、エフェメラル(一時的な)ノードに対するZooKeeperのサポートを使用します。セッションの有効期限が過ぎると、ロックしたノードは自動的に削除されます。ローカルのNameNodeが正常であり、現在ロックznodeを保持している他方のNameNodeがないとZKFCが判断した場合、ZKFC???は自身がロックを獲得しようとします。ロックの取得に成功した場合は「選挙に勝った」ことになり、フェイルオーバーを実行してローカルのNameNodeをアクティブにします。フェイルオーバーのプロセスは、上記の手動フェイルオーバーと似ています。必要に応じて以前のアクティブがフェンスされ、次にローカルのNameNodeがアクティブな状態に遷移します。クライアント(HDFSのクライアント)は、特定の時点でどのNameNodeがアクティブかを事前に知ることができません。そのため、クライアントがNameNodeにアクセスし、たまたまスタンバイになった場合、読み込みまたは書き込み操作は拒否されて、このメッセージがログに記録されます。その後、クライアントは自動的に他方のNameNodeに接続して操作を再試行します。クラスターに1つのアクティブNameNodeと1つのスタンバイNameNodeが有る限り、このメッセージは無失しても問題ありません。アプリケーションが常に1つのNameNodeのみと通信するように設定されている場合、このメッセージは、アプリケーションが読み込み/書き込み操作に失敗しているということを示しています。このような状況では、クラスターのHA設定を使用するようにアプリケーションを変更する必要があります。JIRAのHDFS-3447では、ログのノイズを減らすためにこのメッセージ(と同様のメッセージ)の重要度をDEBUGに下げることを扱っていますが、現時点ではまだ未解決です。コマンドで利用できるサブコマンドはHadoopのバージョンの向上とともに増えています。使ったことがないコマンドもあるので、実際にコマンドを実行して結果を見てみました。コマンドが多いので3回に分けて掲載します。hdfsHDFSが高速に?mmapによるzero-copyでの読み込み本日公開されたHDFSの高速化に関連するJIRAの2つ目です。通常、アプリケーションはread()などのシステムコール経由でファイルを読み出します。このHDFS-4953はmmap()システムコールを使用することで、読み取り時にかかるオ...hdfsHDFSのスモールファイルの問題のブログ翻訳HDFSに小さなファイルを溜めるといくつかの問題が生じます。NameNodeのメモリを大量に消費したり、あるいは分散処理の際のパフォーマンスが劣化します。昨日紹介したHDFSの再バランスは、DataNode間でディスク使用量を平準化するための機能でした。一方で、DataNodeが複数のディスクを持っている場合、それぞれのディスクの使用量のバランスが崩れて...hdfsHDFSが変わる?HDFSのイレイジャーコーディング対応Hadoopの分散ファイルシステムであるHDFSはビッグデータ用のストレージ用に広く利用され、ビッグデータにおけるファイルシステムのデファクトスタンダードになっていると言っても過言ではありません。最近では暗号化の対応やアクセス制御(ACL)...hadoopHDFSの新しい機能3つHDFSは分散ファイルシステムとして確固たる地位を築きましたが、NFSのサポートやスナップショットなど、多くの機能が追加されています。コメントをキャンセルメールアドレスが公開されることはありません。*サイトProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。(outdated)ホーム検索トップサイドバーProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。