ビッグデータ統合データモデルとは何を指すのでしょうか。毎日データモデルに接して熟知しているTalendの開発者は、以下のようにデータモデルを定義しています。Waveレポートは、データ市場で大きな変化が起こっていることを再び証明する形となりました。新しいイノベーションによって、データからより大きな価値をかつてない速さで得られるようになってきています。18か月で、新しい変化の波が起こっているのです。このレポートで注目すべきポイントは次の3点です。Sparkに関して説明してきました。Dataset(RDD)は、サイズが大きすぎて1つのノードに収まらないため、複数のノードに分割する必要があるさまざまなデータの集合です。Sparkは自動的にRDDをパーティションに分割し、複数のノードに分散します。Designerがリリースされました。この次世代クラウドデータ統合設計環境を使用することで、開発者はデータパイプラインを数分で開発/展開し、バッチとストリーミングのユースケース全体でシームレスに設計し、最新のハイブリッドおよびマルチクラウドテクノロジーでネイティブに拡張できます。SparkでのTalendの機能についてお客様からよく質問を受けました。Sparkについて話すとき、最初に頭に浮かぶのはspark-submitコマンドです。これはSparkジョブをサブミットするために使用するものです。今日では、リアルタイムビッグデータアーキテクチャーを選べるようになっています。現在の選択肢はLambdaだけではありません。このブログシリーズでは、これら2つの選択肢について説明し、関連するユースケースで比較します。リアルタイムプロジェクトに適したアーキテクチャーを選択する方法について紹介します。ビッグデータ統合IoTでのデータの保存と処理を取り上げた前回のブログに関連して、多くのデータサイエンティストから質問が寄せられました。その多くは、データの扱いについて困っているという内容のものでした。ビッグデータ統合ビッグデータの分野では、従来のデータウェアハウスをHadoop環境にオフロードすることが一般的です。一次使用向けの場合も、「コールドデータ」を保存するためだけの場合も、Talendは負担のないオフロードを実現します。