00:00次々と入力される大量のデータをリアルタイムに処理することで、いち早く変化の兆候を察知する。アルゴリズムトレードや新社会インフラなど、先進的な取り組みの基盤を支える技術としてストリームデータ処理、もしくはCEPと呼ばれる技術に注目が集まっています。今回は、10年近くにわたって研究開発を続ける日立製作所の製品担当チームを先生役として編集部に迎え、その技術的な概要をレクチャーしていただきました(協力:日立製作所)。その概要について教えてください。近年、テクノロジーの発達に伴って、社会全体のデータ量が著しく増加していることが様々な調査によって明らかになっています。増え続けるデータの中でも大きな割合を占めると見られているのが、センサーやRFIDが生み出す新しいタイプのデータです。新しいタイプのデータ・・・ですか?先生はい。これまで情報システムが管理してきたデータの多くは、顧客プロファイルや販売履歴など、それぞれが固有の重要な情報でしたから、データベースなどを使って一つひとつのデータを保管する意味がありました。センサーなどが生み出すデータは必ずしも保管を必要とする類のものではありません。何らかの異変を察知する目的でセンサーを利用するのであれば、値が正常であることさえ確認できれば、その後は捨ててしまっても構わない。何も起こらなかったというデータをいつまでもとっておく必要はありませんよね。判断した時点でデータはその必要性を失うということですね。先生むしろ、センサーが生み出す情報を逐一、データベースに保管して、日次バッチで処理しているようでは、情報の鮮度が下がって宝の持ち腐れになってしまいますし、ストレージがいくらあっても足りません。そこで、データをストックとして捉える従来のアプローチに代わり、それらをフローのままでリアルタイムに処理、意志決定する基盤として注目を集めているのがストリームデータ処理と呼ばれる技術です。Processing:複合イベント処理)」という用語で呼ばれることもありますが、今回はストリームデータ処理で統一します。編集部ところでストリームデータ処理って具体的にどのようなことをしてくれるものなのでしょうか?先生そうですね。簡単にその仕組みについてご紹介しておくことにしましょう。いっても、ストリームデータ処理の仕組みは非常にシンプルです。さまざまな発生源からデータがインプットされる度に、処理を担当するコンポーネント「ストリーム処理エンジン」は、あらかじめ設定された「分析シナリオ」というアルゴリズムに従ってデータを処理します。「『3回続けて値が上昇している』『現在の値がしきい値を超えている』という二つの条件を満たした場合にアラートをあげなさい」といった指令を記述しておくと、入力がある度に、エンジンは処理を繰り返し、データが条件を満たした場合にアラート通知を行ってくれるという訳です。CEP(複合イベント処理)という名称はここに由来するわけですね。発生源からデータを取得するためのプログラムを作成することになります。この場合は、通信社や証券市場から送られるフィードや、WebサービスのAPIなどが考えられますね。これらの発生源からデータを取得し、所定の形式に変換した上で、エンジンに渡します。プログラムで取得できるものならどんなものでも対象になり得ますから、インプットするデータはどんなものでも構いません。データベースのレコードはもちろん、他システムから送信されたフィード情報や携帯電話の位置情報、ICカードの利用履歴やサーバーの稼働情報なども対象にできます。プログラム作成の手間を省くために、製品によっては専用のアダプターを用意している場合もあります。基本的に出力プログラムを介して行いますから、アウトプットについても制約はありません。ツールへのイベント通知、ダッシュボードへの表示、SOA基盤を介した他システムへの処理命令なども指定可能です。プログラミングの手間を省くために、処理結果を代表的なデータ形式に変換するアダプターを用意している製品もあります。編集部いくつか技術的な特徴があると聞いたのですが?先生そうですね。ストリームデータ処理をより理解していただくために、いくつか特徴的なポイントを紹介しましょう。※この続きは、会員の方のみお読みいただけます(登録無料)。会員登録(無料)ログインはこちら※この続きは、会員の方のみお読みいただけます(登録無料)。ヘンシュウブ)「EnterpriseZine」(エンタープライズジン)は、翔泳社が運営する企業のIT活用とビジネス成長を支援するITリーダー向け専門メディアです。データテクノロジー/情報セキュリティの最新動向を中心に、企業ITに関する多様な情報をお届けしています。西内啓氏が見据える次の10年。EYACCの森島さんはいかにして生まれたのか319SAPが会津若松で中小企業のものづくりのイノベーションに取り組む理由296AWSでセキュリティを高めるために今すぐやるべき7つのこと262企業のデジタルシフトはIoT、5G、サブスクリプションが牽引。Links主要テーマから探すIT戦略/企画ITインフラセキュリティデータベースデータ活用システム構築システム運用モバイル活用クラウド活用ワークスタイル変革CRM/コラボレーション製品/サービス×ログインEメールパスワード※旧SEメンバーシップ会員の方は、同じ登録情報(Eメール&パスワード)でログインいただけます。パソコン「EnterpriseZine」(エンタープライズジン)は、翔泳社が運営する企業のIT活用とビジネス成長を支援するITリーダー向け専門メディアです。イラストの無断転載を禁じます。記載されているロゴ、システム名、製品名は各社及び商標権者の登録商標あるいは商標です。