Google julkaisi vuonna 2004 paperin MapReduce-nimisestä prosessista, joka käyttää samankaltaista arkkitehtuuria. MapReduce-konsepti tarjoaa rinnakkaisen käsittelymallin, ja siihen liittyvä toteutus julkaistiin käsittelemään valtavia määriä dataa. MapReducen avulla kyselyt jaetaan ja jaetaan rinnakkaisiin solmuihin ja käsitellään rinnakkaisesti (Map-vaihe). Tulokset kerätään ja toimitetaan sitten (Reduce-vaihe). Kehys oli erittäin menestyksekäs, joten muut halusivat jäljentää algoritmia. Siksi Apache Open Source -projekti nimeltään Hadoop otti käyttöön MapReduce -kehityksen toteutus. Apache Spark kehitettiin vuonna 2012 vastauksena MapReduce -paradigman rajoituksiin, koska se lisää mahdollisuuden perustaa monia karttaoperaatioita (ei vain vähentämällä). Kysymys: Mikä oli idea parantaa uusien tietojen käsittelyä?
rinnakkaiskäsittelymalli