En 2004, Google va publicar un article sobre un procés anomenat MapReduce que utilitza una arquitectura similar. El concepte de MapReduce proporciona un model de processament paral·lel, i es va llançar una implementació associada per processar grans quantitats de dades. Amb MapReduce, les consultes es divideixen i distribueixen entre nodes paral·lels i es processa en paral·lel (el pas de Mapa). Els resultats es recullen i es lliuren (el pas de Reducció). El marc va ser molt reeixit, de manera que altres van voler replicar l'algoritme. Per tant, una implementació del marc de MapReduce va ser adoptada per un projecte de codi obert Apache anomenat Hadoop. Apache Spark va ser desenvolupat el 2012 en resposta a les limitacions en el paradigma de MapReduce, ja que afegeix la capacitat de configurar moltes operacions de mapa (no només reduint). Pregunta: Quina va ser la idea per millorar el procés de dades novel·les?
model de processament paral·lel