În 2004, Google a publicat o lucrare despre un proces numit MapReduce care folosește o arhitectură similară. Conceptul MapReduce oferă un model de procesare paralelă, iar o implementare asociată a fost lansată pentru a procesa cantități uriașe de date. Cu MapReduce, interogările sunt împărțite și distribuite pe noduri paralele și procesate în paralel (pasul Map). Rezultatele sunt apoi colectate și livrate (pasul Reduce). Cadrul a fost foarte de succes, astfel încât alții au vrut să replice algoritmul. Prin urmare, o implementare a cadrului MapReduce a fost adoptată de un proiect Apache open-source numit Hadoop. Apache Spark a fost dezvoltat în 2012 ca răspuns la limitările paradigmei MapReduce, deoarece adaugă capacitatea de a seta multe operațiuni de hartă (nu doar prin reducerea datelor). Întrebare: Care a fost ideea de a îmbunătăți procesul de date noi?
Model de prelucrare paralelă