直面した大きな問題の一つに、必要な時間内にコンピューティング能力をスケールアウトできないことがありました。ハードウェアの取得に数か月かかることがよくあったのです。ハードウェアをスケーリングおよびアップグレードしてワークロードの変更に対応することは、経済的に実行が難しく、冗長管理ソフトウェアのアップグレードにはかなりのダウンタイムが必要で、多大なリスクを伴いました。テクノロジーに依存し、データ処理パイプラインを実行しています。クラスターを管理していましたが、リリースサイクルが遅いことがよくありました。プロジェクトの最新のバグ修正やパフォーマンスの改善を利用することができませんでした。移行することを検討したのです。ビッグデータフレームワークの実行をシンプル化する、マネージドクラスタープラットフォームです。この投稿では、データ処理のニーズに対応するためのパイプラインの構築中に発生し、解決した問題について説明します。つまるところ、オンライン広告会社です。今日のほとんどのオンライン広告は、バナー広告またはビデオ広告としても知られるディスプレイ広告を通じて行われます。すべてのインターネット広告は通常、形式に関係なく、さまざまな種類のビーコンを追跡サーバーに送信します。複数のイベントシンクに記録する唯一の責任を持つ、極めてスケーラブルなウェブサーバーをデプロイします。ウェブサーバーを使用しています。弊社グループの典型的なデータパイプラインには、このような入力フィードの処理、検証や強化ルーチンの適用、結果データの集計、およびレポート目的の宛先へのレプリケートが含まれます。次の図は、作成した典型的なパイプラインを示しています。ビーコンサーバーで、データの取得を開始します。Shareデータとそれに伴う所見がリアルタイムに提供されるなら、ビジネスは軸足を素早く定めて、様々な要素、中でも必要性の変化、ユーザーの関与、そしてインフラストラクチャのイベントに対応できるしょう。マネージド型サービスを提供しているため、ユーザーはインフラストラクチャの管理に煩わされることなく、アプリケーションの構築に専念することができます。スケーラビリティは特別な労力なしで実現でき、毎秒ギガバイト単位のストリーミングを取り込んで処理できます。か所のアベイラビリティーゾーンに複製され、高い可用性と耐久性を提供します。コスト効率のよいソリューションとなっています。プロビジョニング済みキャパシティーモデルを採用しています。以上のシャードから構成されており、これがキャパシティーのユニットとしての役割を果たします。シャードが定義済みの読み書き書きキャパシティーを提供するため、ストリーミングパイプラインの設計とスケーリングは容易になります。ワークロードが増えて、アプリケーションの読み書き率がシャードのキャパシティーを越えるとホットシャードの原因となり、キャパシティーをすぐに追加することが必要になります。シャードの使用により、大規模なデータセットの処理を並列化することもできるので、計算結果を高速に出力できます。この記事では、データストリームをスケーリングし、ホットシャードを避ける方法について説明します。ストリームパイプラインを設計する時点でデータストリームが必要とするシャード数を評価する方法を示します。スケーリングを使用してそれを避ける方法について考慮し、監視するべき重要なメトリクスを確認します。本のストリーミングデータパイプラインがマルチプレイヤービデオゲームに接続されている様子を示しています。プレイヤーのスコアや他の統計情報を取り込みます。書き込まれて、ゲームの様々な順位表の元データとなります。ストリーミングパイプラインの設計を始めるときには、データレコードのプロデューサーが作成するデータを取り込むことによってプロデューサーをハンドルし、同じレコードを消費するユーザーもハンドルするのに十分なキャパシティーを持つデータストリームをセットアップすることが重要です。データレコードを書き込むことができます。読み取りトランザクションに達します。あるストリームから読み取るすべてのアプリケーションは、読み取りのキャパシティーを共有します。専用接続を持てるようにできます。この記事では、前述のアプリケーションを例として用いることにします。割合でデータレコードを作成すると見積もられたとすると、ストリームの反対側ではそれと同じ量のデータを消費者ノードが処理する必要があります。この割合を処理できるようにすることに加え、ストリームの増大のためのヘッドルームとして追加のキャパシティーを追加しておくのは良いアイディアです。このヘッドルームは、データの取り込みや処理で遅延や中断が発生したというシナリオにおいても、アプリケーションがすぐに回復できるようにする点でも役立ちます。そのようなシナリオとしては、次のものがあり得ます。これらのノードが回復後に追いつくときには、レコードを標準の速度よりも速い速度で生成または消費することになるので、より大きなキャパシティーが必要になります。シャードを加えることにします。シャードはコスト効率のよいものですが、それはいくつ追加するかにもかかっています。データを簡単に分析できるインタラクティブなクエリサービスです。サーバーレスであるため、インフラストラクチャの管理は不要であり、実行したクエリにのみ課金されます。接続と、ユーザー定義関数の使用について詳しく説明しています。これらは本日から使い始めることができます。自分のビッグデータ環境に共通のメタデータカタログとして使っているお客様が複数いらっしゃいます。自身でホストしています。メタストアも利用できます。メタストアに接続できます。条件付き書式設定を使用して、データの重要度を簡単に見分けられるようになりました。条件付き書式設定では、データセットのフィールド値に基づいて、単色またはグラデーション色を使用して、カスタマイズされたテキストまたは背景色を指定できます。サポートされているアイコンを使用してデータ値を表示することもできます。次のスクリーンショットに示すように、色分けとアイコンを使用して、データを視覚的に調査および分析し、問題をすばやく検出し、傾向を特定することができます。した動的な視覚的刺激は、ダッシュボードの利用者が密度が高いデータ値の集まりから注目に値する洞察をはるかに迅速に取得するのにも役立ちます。チャートに条件付き書式を適用できます。サポートされている各チャートタイプで条件付き書式設定を活用する方法について詳しく説明します。次の方法で、テーブルに条件付き書式を適用できます。テーブルビジュアルの右上隅でキャレットを選択することです。選択すると、条件付き書式設定ペインが分析キャンバスの左側にポップアップ表示されます。記号を選択して、書式を適用するターゲット列を選択します。テーブルに存在する任意の列に適用することができます。ターゲット列の条件を追加します。ターゲット列を選択することもできます。ターゲット列にすでに条件が追加されています。つのオプションから書式設定スタイルを選択します。ターゲット列ごとに、任意の書式設定スタイルまたはスタイルの任意の組み合わせを追加できます。オープンフォーマットとオープンスタンダードを使用してデータを分析する最も幅広い分析ツールとエンジンのセットを提供しています。専門知識認定のベータ版を受験できるようになりました。分析ソリューションの設計、構築、セキュリティ保護、保守に関する技術的専門知識を検証します。専門知識として初めて開始されました。この新しい名前は、認定によって検証される幅広いデータおよび分析の技術スキルと経験を強調しています。月の一般利用可能なリリースを受験して合格した受験者は、新しい名前の認定を取得します。新しい試験バージョンには、コレクションから視覚化までのカテゴリにわたる更新されたコンテンツが含まれています。本試験で扱うトピックの詳細については、試験ガイドをご覧ください。認定は、これだけです。この認定は、適切なセキュリティ対策と自動化を使用してデータを視覚化することで洞察を提供する分析ソリューションを設計および実装する能力を実証します。会場でも受験可能です。枠には限りがありますので、今すぐご登録ください。