秒あたり数十億件のアイテムと数百万回のリクエストの中から膨大な分析値を取得することができます。その分析値を取得するには、データをエクスポートする必要があります。テーブルから分析プラットフォームにデータをコピーすることで、情報を豊富に抽出することができます。これを行うには、優れたアーキテクチャのビッグデータパイプラインが、トランザクションプロセスを分析から切り離すのに大変便利です。データを移行するビッグデータパイプラインを構築する方法を説明します。用いて、視覚化およびアドホック分析を構築することも可能です。デカップリングしたビッグデータアプリケーションにはたいてい、ストレージとコンピューティングを分離する共通のパイプラインがあり、そのため、新しい処理技術が生まれた際にはそれを活用することができます。デカップリングにより、データの耐久性に影響を与えることなく、複数の分析エンジン用の計算リソースを柔軟にプロビジョニングできるようになります。パイプラインを設計して、ストレージと処理の段階を繰り返し、下流のアプリケーションがすばやく使用できる形式でデータを整形することも可能です。つの大きな特性が作用しています。費用対効果の高いオプションが、普通、適切な選択と言えるでしょう。ビッグデータパイプラインを設計する際に考慮すべきことは他にも、データ構造、アクセスパターン、データの温度、可用性と耐久性、そしてサービスが完全に管理されているかどうかなどがあります。これらの特性に基づいてジョブに適切なツールを使用することは、優れたアーキテクチャを持つビッグデータパイプラインにとって重要です。階層化されているビッグデータパイプライン階層化されたビッグデータパイプラインを解説する前に、このソリューションで利用する主なサービスと機能を見てみましょう。用いる主要なコンポーネントは、テーブル、項目、および属性です。テーブルは項目の集合であり、各項目は属性の集合です。プライマリキーを使って、テーブルの各項目を識別します。セカンダリインデックスを使用すると、クエリの柔軟性が向上します。仕組み」を参照してください。開発者ガイド」の中にあります。使用すれば、ストレージコストを削減する手段として、すでに関連性がなくなった項目を自動的に削除することができます。属性を使用して削除のタイムスタンプを設定します。仕組み」を参照してください。ストリームを使用して、項目レベルの変更の時間順のシーケンスを取得します。使用したテーブルアクティビティのキャプチャ」を参照してください。サーバーをプロビジョニングあるいは管理を行うことなく、コードを実行できるコンピューティングサービスです。必要な時のみコードを実行し、毎秒何千ものリクエストにまで自動的に拡張します。高可用性を保持し、サーバーとオペレーティングシステムの保守、およびパッチ適用を行います。コードが実行されている時に消費したコンピューティングの時間分だけを支払います。バケットに配置されるといったイベントに応じて、コードを呼び出す機能があります。コードを呼び出します。すべての項目をコピーできます。削除された項目だけをコピーすることもできます。よって削除される項目のレコードには、ユーザーにが削除した項目と区別するために、追加のメタデータ属性が含まれています。一部として削除を実行したことを表します。関数を変更してください。実行する機会がさらに増えます。データの一部を平坦化します。これにより、今後他のデータセットとの結合が簡単になります。直接データを分析できるようにするインタラクティブなクエリサービスです。サーバーレスであるため、インフラストラクチャの設定や管理は不要であり、また、実行したクエリにのみ課金されます。自動的にクエリを拡張、つまり並列実行するため、大規模なデータセットや複雑なクエリがあっても、高速で結果が出ます。