Hadoop」には興味深い内容が書いてあります。これは必読では?と思ったので、少しまとめてみます。元々の処理クライアントがHDFSからデータを読み出す場合、データノードとのネットワーク通信が発生します。これはシンプルですが、カーネル内でTCPソケットを保持しておくなどのオーバヘッドがかかります。HDFS-2246このチケットでの改善は、クライアントとデータノードが同一マシンの場合、直接ローカルファイルシステムからデータを読み込むようにするというものです。(ブログの2番目の図)この機能は既にCDH3u3以降でサポートされており、パフォーマンスに寄与しています。クライアントがローカルファイルシステムから直接データを読み出すと言うことは、パーミッションなどのセキュリティ上問題が生じます。データノードのデータディレクトリにあるファイルが、クライアントから全て見えてしまうというセキュリティ上の問題でした。結果、全てのユーザーが恩恵に預かれるというものではありませんでした。Readを行うことができるようになりました(Windowsでも同様の仕組みがあるようです)HDFS-347ではディレクトリ名をクライアントに直接返すのではなく、データノードがファイルをオープンし、メタ情報をクライアントに返して、クライアントはそのメタ情報を元にファイルを読み込む、という流れになります。これにより、必要なファイルだけを安全に読み出させることができます。DescriptorsHDFSから何度も同じブロックを読み出す場合があります(HBaseなど)。Readではブロックのパスをキャッシュしているので効果があります。キャッシュされているパス情報から、もう一度ファイルをオープン(reopen)する必要があるため、オーバヘッドがあります。rereadが不要になるために効果があるようです。ベンチマークの結果もHDFS-347が良い結果を出しているようですね。HDFS-4697ではreadheadにより、さらにランダムアクセスでのパフォーマンスの効果が期待できますね。Readが必須なのでご注意下さい。Blog関連記事hadoopHadoopに日本人のコミッター誕生!これは素晴らしいですね。Hadoopが登場したのが2006年4月1日なので、本日が9周年のようです。Hadoop誕生7周年のブログを書いてから、あっという間に2年も過ぎていました。S...cloudera「Hadoopを40分で理解する」のスライド公開!(2014/12/10追記)Hadoop入門になりそうなブログをまとめたページを作成しました。一般的に、Hadoopは同一構成のサーバを大量に並べる方が、運用が簡単です。非均一な構成は、特に設定ファイルの管理、チューニングが厄介です。fo...clouderaHadoopを10分で試す(番外編)**この記事の内容は若干古くなっています。VMの記事が公開されました。Executorは必要に応じてHDFSやHBase上のデータを読み込みます。コメントをキャンセルメールアドレスが公開されることはありません。*サイトProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。(outdated)ホーム検索トップサイドバーProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。