2004年,Googleは同様のアーキテクチャを使用するMapReduceと呼ばれるプロセスに関する論文を発表しました. MapReduceのコンセプトは並列処理モデルを提供し,膨大な量のデータを処理するための関連実装がリリースされました. MapReduceでは,クエリは並列ノードに分割され,並列に配布され,並列に処理されます (Mapステップ). 結果は収集され,配信されます (Reduceステップ). このフレームワークは非常に成功し,他の人々がアルゴリズムを複製したいと考えました. したがって,MapReduceフレームワークの実装はHadoopというApacheオープンソースプロジェクトによって採用されました. Apache Sparkは2012年にMapReduceパラダイムの限界に対応して開発されました. それは多くの地図操作を設定する能力を追加したため (単にマップを減らすことによってではありません). 質問:新しいデータ処理を向上させるアイデアは何でしたか?
パラレル処理モデル