投稿されたものの抄訳です。データのストリームを操作し、大量のデータを処理する機能を提供します。パイプラインのモニタリングが課題になる可能性があります。パイプラインでは、パイプラインのスループット、データがパイプラインを通過する時間、リソース制約の有無を把握する必要があります。インフラストラクチャの稼働を維持し、ひいてはビジネスニーズを先取りするために欠かせません。データを含む複雑なシステムのモニタリングは、運用管理を円滑にするための重要な要素です。システムを測定して潜在的な問題を見つけるために使えるヒントとコツがいくつかあります。シグナルについて詳細を確認できます。シグナルとは以下を指します。カテゴリは、システムや特定のデータ処理パイプラインでモニタリングする対象を検討する際に利用できます。サービス向けに自動的に収集される一連の統合指標を提供します。パイプラインの指標を可視化できます。表示される指標があります。ダッシュボードを構築するために必要な指標について説明します。BigQuery)について次の例で説明します。このパイプラインは次の手順に一般化できます。ジョブの強力なロギングと診断機能を提供します。ジョブ指標に直接アクセスできます(この統合をコンテキストのオブザーバビリティと呼びます。指標は、それらを生成するジョブのコンテキストで表示、監視されるためです)。ページに表示される指標で優れたカバレッジが提供されます。他のサービスの指標と組み合わせることができます。パイプラインのダッシュボードを構築できます。おいてはパイプライン全体をモニタリング対象の「サービス」として扱えます。シグナルについて見ていきましょう。レイテンシレイテンシは一定期間でリクエストを処理するのにかかる時間を表します。レイテンシを測定する方法としては、リクエストの処理に必要な秒単位の時間が一般的です。パイプラインの個々のステップを通過するのにかかる時間になります。チャート処理時間と遅延領域に関連する指標はリクエストの処理にかかる時間を表すため、その使用は合理的な選択です。パイプラインで完全に処理された最新のデータアイテムの経過時間(イベントのタイムスタンプからの時間)を表します。データアイテムが処理を待っている現在の最大経過時間(秒単位)を表します。パイプラインを使用した処理にかかる時間の測定と整合します。リクエストの数を表します。秒あたりのリクエスト処理数が一般的です。種類のチャートを作成して読みやすくしました。軸のスケールの桁が異なるためです。つにまとめて単純にすることもできます。さまざまな指標を提供します。各指標については、指標のドキュメントをご覧ください。処理指標に分類されます。追加された要素数を表しており、トラフィック量の測定と整合します。重要なのは、トラフィック量の増加につれてこの指標の値が増えることです。そのため、パイプラインに生じるトラフィックの把握に使用できる合理的な指標になります。指標はトピック、サブスクリプション、スナップショットの各指標に分類されます。トピックに使用するのは合理的な選択です。リクエストの累積数を表し、次に示すようにトラフィック量の測定と整合します。bigquery_project、bigquery_dataset、クエリの各指標に分類されます。アップロードされたデータに関連する指標は受信トラフィックの量を表すため、合理的な選択です。受信トラフィックの測定と整合します。エラー、障害発生率を表します。エラー率の増加をモニタリングすることで、パイプラインのログに記録されたエラーが飽和などのエラー状態に関連しているかどうかを把握できます。サービスのログに記録されるエラーを報告する指標を提供します。指標をフィルタリングし、使用している特定のサービスに限定できます。具体的にはエラーの数とエラー率をモニタリングします。つのサービスごとのログエントリ数を表し、次のチャートで示すようにエラー数の増加の測定と整合します。飽和度はサービスを実行するリソースの使用率を表します。飽和度をモニタリングし、システムがリソースの制約を受ける可能性がある時期を確認する必要があります。データのウォーターマークの経過時間です(処理が遅くなると、メッセージがパイプラインを通過するのに時間がかかります)。件のメッセージを処理する時間は減少します。上で説明したとおりです。トピック内で最も古い確認応答されていないメッセージの経過時間(秒単位)を表します。入力メッセージを受信および確認応答する時間の増加についての測定と整合します。つのダッシュボードにすべてまとめると、次のようにデータ処理パイプライン指標の単一ビューが得られます。複数のワークスペースにダッシュボードを構築することは、さまざまな手作業を繰り返すことになります。チームでは「トイル」と呼んでいます。テンプレートを使用してプログラムでダッシュボードを作成することが挙げられます。ダッシュボードをテンプレートからデプロイすることもできます。ブログシリーズで、顧客信頼性エンジニアリング(CRE)の実践経験についてお読みください。規約ヘルプLanguage‪English‬‪Deutsch‬‪Français。