في سنة 2004، قامت جوجل بنشر ورقة عن عملية بتسمى MapReduce والتي تستخدم بنية مشابهة. مفهوم MapReduce يوفر نموذج معالجة موازي، وتم إصدار تنفيذ مرتبط لمعالجة كميات ضخمة من البيانات. مع MapReduce، يتم تقسيم الاستفسارات وتوزيعها عبر عقد موازية ومعالجتها بالتوازي (خطوة Map). ثم يتم جمع النتائج وتسليمها (خطوة Reduce). كان الإطار ناجحًا جدًا، لذلك أراد آخرون تكرار الخوارزمية. لذلك، تم اعتماد تنفيذ إطار MapReduce من قبل مشروع مصدر مفتوح Apache اسمه Hadoop. تم تطوير Apache Spark في عام 2012 استجابة لحدود في نموذج MapReduce، حيث يضيف القدرة على إعداد العديد من عمليات الخريطة (ليس فقط عن طريق تقليل البيانات). السؤال: ما هي الفكرة لتحسين عملية البيانات الجديدة؟
نموذج المعالجة المتوازية