EMRを有効に使うには、クラスタやタスクノードの使い方を工夫する必要があります。ジョブ数によって、適切なクラスタを使用する事が大切です。必要な時だけタスクノードを使うようにするとコストを削減し、パフォーマンスの向上が期待出来ます。・一時的クラスタと永続的クラスタを使い分ける・タスクノードの使い方を工夫するなどの方法が考えられます。一時的クラスタと永続的クラスタジョブが実行している間だけ動作しているが一時的クラスタで、ジョブに関係なく動作し続けるのが永続的クラスタです。・立ち上がっている期間が短いので、コストを節約出来る・運用の手間が掛からないなどのメリットがあります。・複数のジョブで、データを共有出来る・一時的クラスタを何回も立ち上げて使うよりも、コストを削減出来る場合があるなどのメリットがあります。EMRを使うのかを決める必要があります。・クラスタを管理するマスターノード・HDFSを使ってデータを格納するコアノード・タスクを実行するタスクノードから構成されますが、タスクノードの使い方を工夫する事でコストを削減出来たり、パフォーマンスの向上が期待出来ます。・スポットインスタンスの活用スポットインスタンス上でタスクノードを動かせば、コストを節約出来ます。・大量のタスクノードを使うS3からHDFSにデータをアップロードする時に、スポットインスタンス上に大量のタスクノードを動かす事で、効率的なアップロードが可能となります。Japan本サイト上に掲載されているまとめ記事が、毎週ステップメールで受け取ることもできます。