SQLで、通常のJDBCアクセス可能なデータベースに対しても操作ができそうな感じだったので、ちょっと試してみました。Sparkは分散処理のややこしい部分をうまく抽象化してくれているので、簡潔なコードを実行するだけで、何百台ものコンピュータで、同時平行に計算を実行させることができます。DataFrameは名前付きの列に整理されたDataSetで、DataSetは分散型コレクションです。データをSQLっぽく操作できるので使ってみるとかなり便利です。このあたりは以下のドキュメントが参考になるかと思います。オープンソース技術グループが性能検証を実施している。SparkもHadoopと同じく分散処理のフレームワークです厳密には担当してるところがちょっと違う。Foundationに寄贈されました。Sparkは高速で汎用的なクラスタコンピュータシステムです。PythonおよびRの高レベルのAIPを提供し、一般的な実行グラフをサポートする最適化されたエンジンを提供します。ソフトウェア財団の商標です。具体的にはSparkと通信を行う部分がラッパーとして各言語ごとに作成・配布されているのです。SQL」として利用する事が可能です。