ストリーミングサーバー?に保存する理由がわかりません。Serviceを読んで理解し、同意したものとみなします。スタック・オーバーフローはプログラマーとプログラミングに熱心な人のためのQ&Aサイトです。ストリーミングサーバー?に保存する理由がわかりません。Streamなどの話題が出ます。Redshiftといった具合に。Redshiftといったように、複数台のサーバーから直接DBに保存するのはトランザクションの問題?や処理が追いつかなかったりするため、ストリーミング処理をするのだと私の中では認識しております。結局、間にストリーミングサーバーを入れたところで、左から右へデータを流しているだけで、結局、処理が追いつかなかったりするのではないかと思っております。実際はそんなことはなく、ストリーミングサーバーはそこら辺を上手くやっているのかと思われますが、そのあたりの知見をつけたく、調べているのですが、なかなか良い資料が見当たりませんでした。※一つ、思い浮かぶのは、ある程度、ストリーミングサーバー側でデータをためて、一定以上貯まるとデータをDBへ入れるといったこととかですかね。皆様のご経験などを踏まえ、ご教授頂けますと幸いです。個の銅バッジ知りたいのは「保存する理由」ですか?本文を拝見しますと、ご自身ですでに認識されてるようですがその上で何を知りたいのでしょうか。9:17はい、保存する理由です。調べているのですが、結局のところ、自分の中で理解仕切れておらず・・・。票4大量のデータソースがデータストアに直接アクセスしていると、データストアに変更を加えるのが非常に困難パフォーマンスがデータソース次第になり管理できない少量のデータを多数回処理するのはオーバーヘッドが大きいデータソース側の処理が肥大する複数ソースのデータをまとめなければならない場合データストア側でも処理が発生するなどなどたくさんの問題生じます。データソースとデータストアの間にバッファとなる何かがあればこれらの問題は解消しやすくなります。データストアのありかを知っているのはバッファ側なのでそこだけ変更すれば良いバッファからの出力によってパフォーマンスが管理できるデータストアごとにオーバーヘッドの少ないデータ投入方法が使えるデータソース側はバッファにデータを送るだけに特化できるデータの変形や集計など中間処理が可能パフォーマンスはポイントではあるのですがそれがすべてではありません。Kinesisの利点をコンパクトにまとめてあるので、参考にされると良いと思います。1年余り前の記事なので、多少情報が古い可能性があります。一般的な仕組みだと思います。(キューイング、キャッシュなど)データの順序性を担保して、大量の入力データに対して並列にバッチ処理を可能にするためには一時的に保存していると思います。同じデータを何度でも取り出せるという点もProxy的なデータ転送の仕組みでは難しいのではと思います。出力処理が追いつかない事があるという点は、リソースは有限であることを考えるとご指摘のとおりだと思います。出力側の処理がされない場合は、取りこぼすことになると思います。デフォルトでは10シャードまでしかスケールしません。申請で緩和する必要があります。ご参考)FAQhttps://aws.amazon.com/jp/kinesis/streams/faqs/ストリーミング処理の役目ということであれば大量発生する入力データをリアルタイムに処理してデータウェアハウス等に出力することだと思いますが。サイトの資料が概要としてわかりやすかったです。http://spark.apache.org/talks/http://spark.apache.org/talks/strata_spark_streaming.pdfこの資料によるとストリーム処理フレームワークへの要件を次の5つとしています。ストリーミング処理の役目は、これらを実現することと言えるかもしれません。|回答スタック・オーバーフローに参加してくれて、ありがとうございます!質問の回答を共有してください。回答を説明し、自分の検討結果も共有してください。意見を述べること(意見を述べるなら、参照リソース、自分の経験で意見をサポートしてください)さらにサポートが必要な場合このヘルプを参考してください。“回答を投稿”をクリックすることで利用規約、プライバシーポリシー、及びクッキーポリシーに同意したものとみなされます。タグが付いた他の質問を参照するか、自分で質問をする。失敗したときに、それを知れるようにしたい。質問のフィードこのRSSフィードを購読するには、このURLをコピーしてRSSリーダーに貼り付けてください。