text: by David Göhler on 11.09.2015
  Spark befindet sich dort in bester Gesellschaft – andere Big-Data-Techniken wie MapReduce, Pig, Hive, die verteilte Datenbank HBase oder das in Echtzeit operierende Datenverarbeitungssystem Storm werden bereits seit längerem unterstützt.
  Entwickelt wurde Apache Spark in den Programmiersprachen Scala, Java und Python bereits 2009 an der Universität Berkeley in Kalifornien. Im Jahr darauf erfolgte die Veröffentlichung unter der BSD-Lizenz. 2013 schließlich wurde es Teil der Apache Software Foundation. Dort zählt es mittlerweile zu den Top-Level-Projekten und gilt vielen als der inoffizielle Nachfolger des Big-Data-Frameworks Hadoop. Mit Hilfe einer SQL-Komponente kann Spark auf die im Memory liegende Daten-Cluster zugreifen und diese in Echtzeit analysieren. Dabei lässt es sich ohne viel Aufwand in andere Projekte wie YARN, Hive, Mesos oder Hadoop integrieren.
  Microsoft wirbt für seinen neuen Service derzeit vor allem mit einer einfachen Einrichtung. Der Vorgang soll nur Minuten in Anspruch nehmen, ist im Blog der Redmonder zu lesen. Alles, was es brauche sei ein Account bei Azure. Auch mit Kompatibilität möchte man punkten. Spark werde vollständig in Microsofts Cloud-Angebot integriert. Daten ließen sich so problemlos importieren und weiter verarbeiten. Zur grafischen abschließenden Aufbereitung der gewonnenen Informationen habe man bereits zahlreiche Partner wie Tableau, SAP und Qlik gewinnen können.
  Als typische Anwendungsfälle für Spark sieht Microsoft das Erstellen interaktiver Abfragen über große Datenmengen, das Erzeugen von Streaming-Anwendungen oder Hilfe bei der Arbeit mit Machine-Learning-Algorithmen. Das gesamte Projekt befindet sich derzeit im Status eines Public Review und ist für jeden, der ein Azure-Konto sein Eigen nennt, vollständig nutzbar.
  Haben Sie erste Erfahrungen mit Apache Spark for Azure HDInsight gesammelt? Falls ja, teilen Sie Ihre Erfahrungen in der Experten der IT-Community, z.B. auf Facebook.