Bonér氏によるとそれによって問題も生み出されているという。ビッグデータのあるところ、激しい競争がある。ビッグデータのアーキテクチャが進歩するなか、ビッグデータ「スタック」のレイヤすべてでベンダー同士による激しいシェアの奪い合いが起こっている。現在、最も激しい戦いが繰り広げられているのは、バックエンドへのデータ移送と、システム間のロジックというレイヤだろう。多くのベンダーにとって、「ビッグデータ」という言葉における「ビッグ」は、データの全体量を指しているではなく、リアルタイムでのデータのやり取りにおけるスループットを指すものとなっている。Spark」へのシフトを引き起こしている。Bonér氏に話を聞いた。Motion」(特定の保存場所は持たないが、すぐに移送でき、使用可能な状態にあるデータ)へのシフトです。今までオフラインだったデータが、今ではオンラインになっているのです。System」(HDFS)のようなファイルシステムに格納された後、一晩かけてバッチ形式で処理されるため、何時間ものレイテンシが発生する場合もしばしばありました。Motion」に向けてリアルタイムで対処するというニーズが生まれました。リアルタイムで発生する生のデータを捕捉して処理した後、その結果を秒単位で、場合によっては1秒未満で稼働中のシステムにフィードバックすることがますます重要になってきたわけです。これにより、ラムダアーキテクチャのような、「スピードレイヤ」と「バッチレイヤ」という2つのレイヤを持ったハイブリッドアーキテクチャが登場しました。このようなアーキテクチャでは、「スピードレイヤ」内のリアルタイム処理の結果が、後で「バッチレイヤ」にマージされるようになっています。これで(少なくともサブセットの)データに迅速に対応する必要があるという、当面の問題が解決されたわけです。2つの独立したモデルと、2つの独立したデータ処理パイプラインをメンテナンスし、最後にデータをマージするという、本来ならば必要のない複雑さももたらされました。Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。ついて運営会社サイトマップ当サイトは最新ブラウザでの閲覧を推奨します。permission.このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。