Sparkは、オープンソースの分散型クラスタコンピューティングフレームワークです。「高速」かつ「汎用的」であることを目標に設計されており、Java派生言語「Scala」で実装されています。グラフデータ処理機能」「ストリーミング機能」などの高機能なライブラリを搭載しています。初版リリースSparkのコードベースはカリフォルニア大学バークレー校のAMPLabで開発されました。Foundationに寄贈され、Apacheトップレベルプロジェクトの1つとして開発が進められています。Datasets)」という独自キャッシュ機構を搭載しています。分散メモリRDDを活用することで、機械学習のような特定のデータに対して繰り返しアクセスするような処理を得意としています。Sparkには、リアルタイム処理を実現するためのフレームワークも備わっています。詳細について、こちらを参照ください。Sparkは「Windows」「Linux」「macOS」で動作します。Sparkは、1000を超える組織やプロジェクトで採用されています。同様な機能を提供する製品として、次のようなものがあります。Spark」をディープラーニング(深層学習)対応させる動きが活発化している点について解説。reserved.このページに掲載されている記事・写真・図表などの無断転載を禁じます。著作権は情報提供者に帰属します。掲載している情報は、記事執筆時点のものです。