Cookbookの非公式日本語版の続きです。昨日は「Impalaの物理設計とスキーマ設計」でした。本日は「Impalaのメモリ使用量」です。例によって駆け足で日本語化してるので、間違いがあればコメントに書き込むかTwitterでメンションしてください。実際のメモリ使用量を見つける(続き)複雑なクエリで、どのようにしてクエリのどの部分がとても多くのメモリを使っているのか知るのか?クエリプロファイルのExecSummaryを使用する!(図は省略。2.0は(ディスクベースのジョインにより)これを行う。ディスクベースのジョイン/集約ディスクベースのジョイン/集約は、メモリ制限にヒットしたときの最終手段にすべきクエリ内にひとつだけのジョイン/集約がある場合、ディスクベースのジョイン/集約を当てにする。1.2が公開されています。いうスライドが公開されました。Cookbook、先日新しいバージョンに更新されました。昨年末も雑記を書きましたが、改めて読み直し、日本語でまとめてみました。Cookbook(という名前のスライド)をざっと見てみました。Impalaの基礎からサイジング、ベンチマーク、マルチテナンシー、チューニングなどまで適度にまとまっています。Drill(とHive、Tez)の話が出ています。Cookbookの非公式日本語版の続きです。昨日は「Impalaのメモリ使用量」でした。本日は「クラスタのサイジングと推奨ハードウェア」です。コメントをキャンセルメールアドレスが公開されることはありません。*サイトProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。(outdated)ホーム検索トップサイドバーProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。