Beamを使ったデータ処理ジョブの開発について紹介しました。今回は、現代のビッグデータ処理で非常にニーズの大きなストリーミングデータの処理について説明します。Beamを使用したデータ処理ジョブの開発を取り上げました。今回は、ビッグデータ処理で現在最もニーズが高まっているストリーミングデータの処理を取り上げます。バッチとストリーミングの一番の違いは、入力データソースの種類です。SourceHadoopと関連エコシステムの登場によって、膨大なデータを処理するオープンソースツールとフレームワークが急速に進化し、カンブリア爆発さながらに多様化を極めました。早くからビッグデータに投資した企業は、いくつかの課題を経験しました。Beamに関するシリーズの第1部です。知らなくとも、決して恥ずべきことではありません。Designerがリリースされました。この次世代クラウドデータ統合設計環境を使用することで、開発者はデータパイプラインを数分で開発/展開し、バッチとストリーミングのユースケース全体でシームレスに設計し、最新のハイブリッドおよびマルチクラウドテクノロジーでネイティブに拡張できます。