エクサバイトにまで増加しました。年ごとに倍増しています。インターネット規模という言葉は、データ・サイズがテラバイトやペタバイトの時代を指しており、これほどの量のデータをタイムリーに扱うための処理要件を満たせるようにスケーリングできることを意味します。処理するデータの量には、保管されたデータだけではなく、リアルタイムのストリーミング・データも含まれます。メールのやり取り、インスタント・メッセージのやり取り、インターネット検索、医療の画像や記録など、現在は実質上すべてのものが電子的に記録されています。単純なシナリオを例に考えてみましょう。職場から自宅まで車で帰る途中でガソリン・スタンドに寄って、ガソリンを入れるとします。職場を出て車へ向かって歩いている間、その姿は監視用ビデオ・カメラに記録されている可能性があります。位置情報が記録されているはずです。家に向かって運転しているときに、携帯電話でテキスト・メッセージを受信するとします。したメッセージの内容とタイムスタンプは通信事業者に保管されます。ガソリン・スタンドに到着してからそのメッセージに返信すると、そこでは別の監視用ビデオ・カメラがその行動を記録します。ガソリンを入れるときには、その取引がガソリン・ポンプでスキャンしたお得意様カードの情報と一緒に記録されます。使って監視している犯罪率の高い地域です。各所に配置されたマイクで音声を記録して発砲音を聞き分け、発砲音が聞こえると、すぐに当局に通報します。すると、その地域のビデオによる監視の記録が取得されるという仕組みです。したがって、ガソリン・スタンドにいる間中、音声が分析され、記録されています。かなりの部分を占める可能性があります。要因となって、今後もデータウェアハウスに保管されるデータは大幅に増加し続けることでしょう。データウェアハウスは、かつては考えられなかったほどの規模でそのデータ量が増大しています。動画および音声のフィードを保管するにはかなりのコストがかかります。それは、このタイプのデータは、収集される量が膨大であることに加え、圧縮率が低いという特徴を持っているからです。このようにデータの量が膨大なため、この種のデータをリアルタイムで分析し、関連する部分だけを選択的に保管できるようにすることが重要となっています。至るところでデータは記録されており、事実上、動くものなら何でも、そして動かないものでもその多くが記録されています。通常記録されるような取引だけにとどまらず、駐車場やビル、そして街角などの無味感想な対象でさえも、インスツルメント化されて大量のデータを絶え間なく記録しています。保管されるデータ量がとどまることなく急増しているなか、ビジネス・アナリティクス・システムによって処理し、関連する結果を生成しなければならないデータ量も同じく急激に増え続けています。テラバイトのデータを処理しています。テラバイトものデータを生成しています。これほどまでのデータ量に対応するアナリティクス・システムがなければ、収集されたデータはその価値を失ってしまいます。(これらのベンチマークについての詳細は、「参考文献」を参照してください)。ノードが必要となりました。年間かかることになります。ビジネス・アナリティクス・システムでは、まだ保管される前のリアルタイムのストリーミング・データも処理しなければなりません。重要な洞察をタイムリーに行うには、莫大な量のデータとリアルタイムのデータを処理する速度が決め手となります。いくつかのビジネス・アナリティクスの例では、適切な洞察または正しい答えであったとしても、タイミングを逃して後から提供されたとしたら、それは誤った答えと見なされることも多々あることです。ビジネス・アナリティクス・システムは、大量のデータに対応し、それを効率的に処理し、ユーザーにとって適切な時間枠のなかで結論を出す必要があります。分で示せるとしたら、そのシステムの価値は一段と高くなります。構造化データと非構造化データ現在生成されているデータの大部分は、非構造化データです。非構造化データであるということは、そのデータが何を表すのかをコンピューター・プログラムが理解できるようにするための潜在的な意味がデータに付随していないことを意味します。構造化データとは、コンピューター・プログラムがデータを理解しやすいように、セマンティックな意味が追加されているデータのことです。919-555-1213.人間がこのメッセージを読めば、ここに含まれる意味とデータの意味がわかり、これが自宅、職場、および携帯電話の番号であることを認識することができます。ネスト形式による構成によって、データは構造化されているように見えます。アナリティクス・システムにとっては、このデータは非構造化データでしかありません。それは、データに意味が関連付けられていないためです。メール、テキスト・メッセージ、ブログ、動画、音声はいずれも、構造化されていない情報を表します。流し込むと、以下のようなデータになります。構造化されているように見えますが、これは、潜在的な意味をデータに適用するような構造ではありません。アナリティクス処理システムに関する限り、このデータが非構造化データであることに変わりはありません。非構造化データとなります。半構造化データと呼ばれることがよくあります。データの相互関係に関する構造はあるものの、データの意味に関しては構造化されていないためです。構造化データであると言えます。異なる電話番号を表していることがわかります。構造化データは、データベースにも保管されます。スキーマに従ってデータを行と列に保管することで、コンピューター・プログラムがそのデータの意味を理解することができます。各種アナリティクス製品に伴う価値として挙げられるのは、大量の非構造化データを処理して潜在的な意味を見つけ出す機能です。例に取ると、これらのデータは電話番号である可能性があることを、コンピューター・プログラムは突き止めることができます。桁の数字が続くというパターンと一致するからです。つの電話番号がノース・カロライナ州の電話番号であることを推測することができます。国番号が付いた国際電話番号でも、同じようなアルゴリズムを考えられるはずです。構造化データの場合、プログラムが事前にデータの意味を判断するために使用できる情報が非構造化データの場合よりも多いため、処理が容易になります。構造化データを処理するほうが、コンピューティング・サイクルを費やしてデータの意味を突き止めるよりも効率的ですが、今日のデータ増大の大部分を占めるのは非構造化データです。そのため、システムが非構造化データを効率的に処理し、データに含まれる意味を適切に判断する能力が極めて重要になっています。メールやテキスト・メッセージ、そして音声ストリームおよび動画ストリームは、今日の非構造化データの大半を占めます。このタイプの非構造化データの急増はその勢いを弱めることなく続いているため、このような非構造化データを効率的に処理することが、ビジネス・アナリティクス処理システムの成功を維持する上で不可欠となります。データの量、処理速度、およびデータのタイプはいずれも、ビジネス・アナリティクス・システムが直面している難題である一方、これらの問題に対処するための大きな進歩がなされています。処理するのに数週間もかかっていた大容量のデータ・セットでも、今ではわずか数分で処理することができます。リアルタイムのフィードを、フェイルオーバー機能を備えたスケールアウト・クラスターで実行すれば、まだ移動中のデータがあってもリアルタイムのフィードを効率的に処理することも可能です。すべての処理は一般商品化されたマシンで行うことができます。このような処理は、ほんの数年前までは考えられなかったようなアプリケーションの作成を可能にします。この分野のコンピューティングがその最大限のメリットを生かすためには、ソフトウェア標準が重要な役割を果たします。予測アナリティクス予測アナリティクスとは、ソフトウェアがさまざまな履歴データ・ソースを使用して、将来起こり得る事象や振る舞いを予測することを意味します。予測には、その予測の信頼度を伴います。移動中データのアナリティクス「移動中」データのアナリティクスとは、データがハードディスク・ドライブやその他のストレージ媒体に保管される前に、データを分析することです。最近では膨大な量のデータが収集されることから、データを保管してから分析するのが不可能であることは珍しくありません。データを先に保管するスペースがあるとしても、保管してから分析するのでは、余計に時間が必要になります。この時間の遅れは、一部のケースでは許容できない場合もよくあります。保管データのアナリティクス保管されるデータは膨大な量に上ることから、データをふるいにかけて、そのデータの意味を理解して、結論を引き出す技術が必要になってきます。ストアに保管されますが、最近のデータは、構造化された形で保管されない場合のほうが多くなってきています。非構造化データが急激に増えていることから、リレーショナル、非リレーショナル、構造化、そして非構造化の各データ・ソースに対してアナリティクスを行う技術が求められます。ビジネス・ルールよりインテリジェントな決定を行うためにビジネスの側面を定義または制約するには、ルールが使用されます。ビジネス担当者がシステムをオフラインにすることなく、簡単にルールを追加または変更できるように、ルールはアプリケーション・ロジックの外部に保管されます。レポート作成レポートは、さまざまな複雑度のユーザー・インターフェース・ダッシュボードという形を取ります。主要な標準このセクションでは、主要な標準をいくつか取り上げ、データ分析のサポートという点でのそれぞれの関連性と価値について説明します。(「参考文献」を参照)。非構造化データを処理し、そのデータに含まれる潜在的な意味、関係、そして関連のある事実を見つけ出し、その内容をオープンかつ標準的なフォームで表現するためのフレームワークです。判断することができます。標準が定義するデータ構造体で表現されます。つの用語を定義しています。ファースト・フード店に関する調査結果を集めた膨大なコレクションを考えてみてください。これは、大量の非構造化テキストに相当します。収集された情報の分析目的は、最もよくある苦情の理由を明らかにすること、最も苦情件数の多い店舗の名前と場所を特定すること、そして苦情のタイプごとに、最も多く苦情が発生した店舗を調べることです。使用すれば、このような情報を探り出し、苦情の傾向とタイプを調べることができます。少なくなってきている苦情のタイプ、増えている苦情のタイプを調べることもできます。