Runnerの比較Hadoopクラスタ上での性能を比較するまとめこんにちは。データサイエンスチームのtmtkです。Beamを紹介します。Beamを使うことによるオーバーヘッドを簡単に観察してみます。Beamとはバッチデータ並列処理パイプラインとストリーミングデータ並列処理パイプラインのどちらも定義するための、オープンソースの統合モデルである」だそうです。Flinkなどの上で実行できるというものです。Dataflow)上で動かすことができる。)という点があります。SDKがオープンソース化されたという経緯があるようです。ライバル参入を促す理由])言語としてはJavaとPythonに対応していますが、Pythonはほとんどのランナーに対応していないため、以降はJavaを使います。Beamの導入手順Beamを試してみるには、[公式のドキュメント]のとおりにしていけばいいです。Runnerについて性能の比較をしてみます。Beamに付属しているランナーです。サーバは16コア、メモリ16GBのCentOS7仮想マシンです。