ف عام 2004، جوجل نشرت ورقة عن عملية تسمى MapReduce، والتي تستخدم بنية مشابهة. مفهوم MapReduce كايوفر نموذج معالجة متوازي، و تم إصدار تنفيذ مرتبط لمعالجة كميات كبيرة من البيانات. مع MapReduce، يتم تقسيم الاستفسارات وتوزيعها عبر العقد المتوازية ومعالجتها بالتوازي (خطوة Map). ثم يتم تجميع النتائج وتسليمها (خطوة Reduce). كان الإطار ناجح جدا، ولهذا كان آخرين باغوا يكررو الخوارزمية. ولهذا، تم اعتماد تنفيذ لإطار MapReduce من قبل مشروع مصدر مفتوح من Apache اسمه Hadoop. تم تطوير Apache Spark في عام 2012 ردا على القيود في نموذج MapReduce، حيث يضيف القدرة على إعداد العديد من عمليات الخريطة (ليس فقط عن طريق تقليل البيانات). السؤال: ايش كانت الفكرة لتطوير عملية البيانات الجديدة؟
نموذج المعالجة المتوازية