(outdated)ホームhdfsHDFSのスモールファイルの問題のブログ翻訳hdfs2019.07.04HDFSに小さなファイルを溜めるといくつかの問題が生じます。NameNodeのメモリを大量に消費したり、あるいは分散処理の際のパフォーマンスが劣化します。書かれていたブログ記事の内容がかなり良かったので翻訳しました。HDFS)の情報はたくさん公開されていますが、フェデレーションと組み合わせた設定についての情報は非常に少ないようです。昨日紹介したHDFSの再バランスは、DataNode間でディスク使用量を平準化するための機能でした。(HDFS-EC)ですが、HDFSに利用するストレージの容量を節約することができるため、大量データを持っている方には魅力的です。原則的に複数ラック...hdfsHDFSのHotSwapが動かない昨日から試行錯誤しているHDFSのホットスワップ。動かないんだけどなんでだろう?hdfsHDFSが高速に?mmapによるzero-copyでの読み込み本日公開されたHDFSの高速化に関連するJIRAの2つ目です。通常、アプリケーションはread()などのシステムコール経由でファイルを読み出します。コマンドで利用できるサブコマンドの一覧、その2です。コメントをキャンセルメールアドレスが公開されることはありません。*サイトProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。(outdated)ホーム検索トップサイドバーProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。