essentiaアーキテクチャーessentiaアーキテクチャーABOUTビッグデータ活用に必要な煩雑な事前処理を超高速に実現essentiaは、ビッグデータの活用を進めるために必要な事前処理を高速かつ低コストで実現するソフトウェアエンジンです。分析やマイニングの準備として、複数の大量データやログデータを、ビジネス要件に合わせてクレンジング・突き合わせ・紐付けなど、煩雑で困難な事前処理が必ず発生します。Serviceなどのクラウド環境で高速かつ低コストで処理するソフトウェアエンジンがessentiaです。して、ビッグデータを業務アプリケーションに結び付ける仕組みです。essentiaの特長1.超高速処理で、データ活用の試行錯誤を気軽に実施できます。2.ミニマムなストレージと自在なスケールアウトで、運用コストを大幅に削減します。3.非構造化・非定型データに強く、データの統合やフィルタリング機能も高速です。1.超高速処理を実現したファイル管理essentiaはデータベースシステムとは異なり、gzipやzip形式の圧縮ファイルをそのまま取り込みます。独自に開発したビッグデータ処理プロセッサは、SQLライクなスクリプトでデータの加工や集計が可能です。テラバイト・数十億件規模のデータから、クロス集計・期間データ作成・マッチング・データ加工などをインメモリで高速に処理します。高いコストパフォーマンスessentiaは圧縮ファイルの直接処理が可能なため、必要なストレージはDBの1/4以下で運用可能となります。ファイル単位でそのまま管理するため、世代管理不要や分散・部分バックアップも容易です。低コストで長期的にデータを保存することができます。パブリッククラウド、ハイブリッドクラウド、オンプレミスでの提供が可能です。データのロードや処理ごとに高効率なMPPエンジンがノードをコントロールして、動的にインスタンスを起動します。処理終了後にはインスタンスを停止するため、クラウド環境の費用を抑えることができます。URL日本語デコード、カラム削除・追加などのデータ加工や、複数データ間の相互検索によるデータマッチングなどの機能を備えています。圧縮ファイルをそのままに高速ストリーミングして、フィルタリングしながらロードできる無駄のない事前処理が可能です。アクセス解析ツールRTmetricsのデータ技術を活かしたエンジンで、各種のログやセンサーデータ、セキュリティログなどの非構造化データも高速に処理します。複数システムのデータ突合や非定型データのクレンジング、フラグ化など、圧縮ファイルのままで自在な加工ができるので、従来のDBシステムと比較して事前処理が格段に削減されます。★アプライアンスやHadoopを必要とするビッグデータにWebサイトのアクセスログから、POSや顧客、店舗データなどの自社内のマーケティングデータのほか、市場調査データやソーシャルメディア、広告配信データ、プロモーションデータなどデジタルマーケティングの実現には、幅広い情報を必要とします。データが大半を占めています。複雑で大量のデータ類が多くクレンジング処理も必要となり、従来のデータ処理ではコストとスピードが大きな課題となります。essentiaは、高いコストパフォーマンスでペタバイト規模のデータ処理にも最適です。プライベートDMPや広告効果分析、カスタマージャーニー分析などの様々なデータ活用を補完する新しいソフトウェアエンジンです。データ量が増えた、外部データの追加によって処理が遅くなってきた、従来のインフラでは処理スピードを維持できなくなっている。このような悩みを抱えている方に、ぜひAWSで試して頂くことをおすすめします。プライベートDMP構築にあたり、長期に渡るマーケティングデータ蓄積の際のコストメリット、複数システムのデータを自由にハンドリングできることに着目され、データ管理部分にessentiaを利用。/日の広告配信データをユニークID単位で処理、顧客の細やかな動きをレポート。Hadoopシステムで数時間かかっていた集計処理が50分に短縮。多数のキャンペーン、広告コンテンツが並行して稼働し、データが分散している→シンプルなデータ定義で異なるフォーマットや分割されたデータを一括処理アドホックなレポート提供のためのリソースが足りない→パブリッククラウドでの運用でスポット対応が可能に稼働環境essentiaは、基本的にクラウド上で稼働します。仮想環境にも対応しており、柔軟な構成や拡張ができます。Azureなどでの稼働実績があります。サービスサイトessentiaのより詳しい機能や無料トライアルについては、下記のサービスサイトをご覧下さい。reserved.▲上へ戻る。