クリエーションライン株式会社ビッグデータ解析の新潮流Sparkとは活用されている業界トピックサービスビッグデータの価値はあなたの手元から産まれるビッグデータ分析による情報の潜在価値探索が、企業の競争優位性維持について重要な要素になりつつあることは議論を待ちません。今やあらゆるビジネス領域においてビッグデータの分析や機械学習によるエクスペリエンス向上について挑戦が続いています。今までのビッグデータ分析は、極めて高いスキル、限られた人員・大規模なコンピューティング環境を必要とし、一般のユーザに手が届きにくかったことも事実です。Sparkの登場によって、今まで極めて高いハードルを必要としていたビッグデータ解析をあなたの手元のPCで実行できるまでになりました。今すぐSparkをインストールし、データ分析を始めることができるのです。私たちクリエーションラインは、必要であれば明日にでもデータ分析を始めるための支援をいたします。1台のPCから、10,000台のクラスタまでプログラムがどこまでも速くなる今まで並列処理における最大の問題は、並列処理に対応するためのプログラムの書き直しにありました。企業における並列処理対応は完全に付帯的な経費であり、成果が限定的であるにもかかわらず、利用者に長い間多大な負担を強いていました。有向非循環グラフ)を用いることで、記述されるプログラムのスケールアウトに対応します。1台のPCのために記述されたプログラムは、そのまま10,000台のクラスタでも動作します。Sparkの真価は全てのデータ処理がオンメモリで行われることにあります。一般的な最小交差二乗法を用いたリコメンドエンジンはSparkに書き直すだけで平均的に数倍の性能を出すことができます。Sparkの特性を理解して記述されたプログラムは、時に数百倍の性能改善を引き出すことがあるのです。私たちクリエーションラインはSparkの特性を理解し、貴社の環境で最適に動作するプログラムの開発を支援いたします。SparkTMは、性能、使いやすさ、高度な分析機能を目指した、オープンソースの処理エンジンです。元は、カルフォルニア州立大学バークレー校で2009年に開発されていますが、その後、開発者を中心に、Databricksという会社が2013年に設立されています。Sparkがリリースされてから、広い範囲の業界、特にエンタプライス企業で急速に浸透しています。Yahoo、Baidu、Tencent等のインターネット系企業でも巨大なシステムで採用されており、8000ノード規模で数ペタバイトものデータを処理しているところもあります。Sparkはさらにビッグデータ業界においても最も大きなコミュニティを形成しており、200以上の組織で500人以上のエンジニアが参画しています。Databricksはこのコミュニティを支援するために、開発ロードマップの提供やコミュニティ支援策など、多岐にわたってこのプロジェクトをサポートしています。誰が使っているのか?Sparkは様々なデータ処理に適用した汎用的なエンジンです。ETLサポートに加え、対話型クエリ(SQL)、高度な分析(例:マシンラーニング)や大規模データセット間のストリーミングも提供します。多様なストレージシステムのサポート(例:HDFS、Cassandra、HBase、S3)を通してデータのロード/管理が可能です。同様に、Sparkは多数の3rdパーティライブラリもサポートしています。SQL、Java、Python、Scala等、多くを代表的なものをサポートしてます。全てのエンハンスは、Apacheのオープンソースとして公開されていきます。Algorithm)を解決することを初期的な目的としていました。総合的に、Sparkは性能を要求するような要件に対応できるエンジンとして、反復的な処理、対話型クエリ、大規模なバッチ型演算、ストリーミング、グラフ型データ処理、等に効果を発揮します。開発者は、次のようなSparkの特長を評価してます。シンプル大規模なデータセットを演算処理する上でAPIは非常に使いやすく、非構造型データのデータ変換や汎用的なデータフレーム向けのAPIを100以上提供しています。統一したエンジンSQLクエリ、ストリーミングデータ、マシンラーニング、グラフ型データ等の高度なライブラリを一つのプラットホーム上でサポートすることにより、開発者の生産性が大幅に向上し、複雑なワークフローを構築することを容易にします。速い性能を最重要視した設計を持ち、インメモリ処理などの最適化を行うことによりHadoopよりも高速な処理速度を提供します。ディスク上のデータ処理も性能を発揮し、現在、ディスク上のデータソート処理速度の世界記録を保持しています。広範囲な互換性HDFS、RDBMS、S3、Cassandra、MongoDBなど、広い範囲のデータソースのサポートも提供しています。エコシステムSparkは今後の統計解析、分散コンピューティングのトレンドを見据えた長期的視点に基づいた機能拡張・改善が行われています。Scalaといった言語に加え、統計解析研究者に馴染み深いPython、R言語にも対応しています。今後段階的に実装されるDataFrameはデータセットをインメモリ展開することで、分散環境におけるデータセットの高速なアクセスを可能にします。Pipelineにより各種機械学習アルゴリズムをSpark分散コンピューティング環境に適用および拡張することがより容易になります。これはscikit-learnやGraphLabなどの利用者にとってより親しみ深い機能拡張となります。Tungstenの成果によって、Sparkは今後より効率的にハードウェア資源を活用することができるようになる見込みになっています。これらの継続的な改良により、ユーザのSparkに対する投資は長期的に保護されます。解析ライブラリSparkSQLSparkSQLによって、従来のRDB(構造化データ)を容易に解析データソースにすることができます。読み込まれたデータはDataFrameと呼ばれるクラスタのメモリ上に構成されたスケーラブルな分散テーブルに保存され、Spark解析プログラムとシームレスに連携するとともに、実行されるプログラムのスケールアウトに追随します。SparkSQLはプラグイン経由で様々なデータソースへの読み書きに対応し、既存資産を有効に利用することができます。Hiveなどを利用したSQL-MapReduce変換に比べ高い性能を引き出すことが可能です。Streaming既に蓄積されたビッグデータをバッチ処理することに加え、データ分析の現場では近年様々なストリームデータをリアルタイムで処理し応答する需要が高まっています。ZeroMQといったストリームソースに加え、Twitterソーシャルストリームにも対応します。公開されている追加ライブラリをオンデマンドで組み込むことで、独自のストリームソースに対応することができます。Torelant構成に対応し、解析ノードの障害によって失われたストリームデータは即座に代替ノードでリカバリされます。MLlib(機械学習)ほぼ全ての機械学習において行われる繰り返し処理において、中間データの入出力性能は、ジョブスループットに極めて大きな影響を与えます。Sparkが有する機械学習ライブラリは、Sparkのコア技術であるメモリキャッシュ技術、クラスタリングなどの利点を有効に活用することで、従来のMapReduce上に構築された環境に比べ高速で品質の高い学習を行うことが可能です。あるロジスティック回帰分析ではHadoopに比べ約100倍の性能向上を達成することができました。GraphXはウェブグラフやソーシャルネットワークなどのグラフデータ作成およびページランクや協調フィルタリングなどのグラフ並列計算処理のためのライブラリであり、従来の反復解析処理に適したテーブル型表現と、グラフ探索や分析パイプラインに適したグラフ型表現を、変換処理をほとんど行うことなく透過的に扱うことが可能です。GraphXは他のライブラリと同様Sparkコアライブラリ上に構成されているため、transform、joinといった処理をRDD並列の恩恵を受け高速に実行することができ、従来の分散処理フレームワークに存在していたノード数の増大に伴う伝播オーバーヘッドを大幅に削減することが可能です。Path)問題”に対する有効な解決策となります。ライブラリの拡張Sparkの解析ライブラリはプラガブルな拡張に対応しています。)”で公開されており、コミュニティの成果を容易にプログラムに組み込むことが可能です。貴社の要望に応じたソリューションを実行致します。様々なパートナーと協業し、大規模プロジェクトに貢献しています。提案データエスクローデータ分析プロトタイプスケールアウトIoTプラットフォーム企画データ分析プロトタイプインターフェイスSparkが活用されている業界クリエーションラインコーポレートサイトお問い合わせ。