En 2004, Google publicou un artigo sobre un proceso chamado MapReduce que usa unha arquitectura similar. O concepto MapReduce proporciona un modelo de procesamento paralelo, e unha implementación asociada foi lanzada para procesar enormes cantidades de datos. Con MapReduce, as consultas son divididas e distribuídas a través de nodos paralelos e procesadas en paralelo (o paso do mapa). Os resultados son recollidos e entregados (o paso Reducir). O marco foi moi exitoso, polo que outros querían replicar o algoritmo. Polo tanto, unha implementación do marco MapReduce foi adoptada por un proxecto de código aberto Apache chamado Hadoop. Apache Spark foi desenvolvido en 2012 en resposta a limitacións no paradigma MapReduce, xa que engade a capacidade de configurar moitas operacións de mapa (non só reducindo). Pregunta: Cal foi a idea para mellorar o proceso de datos novos?
Modelo de procesamento paralelo