Kafkaデータ分析パイプラインで有益だとわかったのは、データのコンシューマとプロデューサを分離する特性でした。配置すれば、コンシューマを開始/停止したり、以前停止した地点からデータの取り込みを続行したりできるようになります。日間)に基づいて、ほかのコンシューマ(テストパイプライン、新しいシグネチャのルックバックなど)を添付し、ある期間を反復、再生することもできます。補助ストレージとして使用するように構成されています。クラスタをサポートするインフラストラクチャを気にせずに、保存に関するポリシーを動的に変えられることを意味します。ファイルシステム(NFS/S3)へストリームされたログと出力を分類、フィルタするパイプラインの計算コアです。フィルタ後の行のメタデータの保存には、<フィルタされたログ>/<FlashBlade>/<年>/<月>/<日>/<時>/<ホスト>/<シグネチャID>/<テキスト>という形式のファイルシステムディレクトリ構造を使います。時間単位で分類できるため、フィルタされたログ行の後処理が加速されます。私たちのユースケースの大部分で、一意の行の処理が行われると分かったので、そのリアルタイムの部分を最適化しました。フィルタと分類だけで、アグリゲーションを一切行わないのです。コンシューマを使用して、複数行とスクリプト化されたシグネチャに対し、一意のパターンの後処理とアグリゲーションを行います。トピックから同時にプルした複数のコンシューマを持つことができるので、拡張が可能です。使用して、エンジニアリング作業項目やバグ、テストエラーの追跡を行っています。ユーザー(ソフトウェアエンジニア)にとってはシグネチャをエンコードする、また、分析パイプラインにとっては特定のシグネチャの新たな複製を報告する理想的なツールです。ビルドの説明を追加して、それが「既知のエラー」であるという印をつけます。私たちが構築した分析パイプラインは、さまざまな領域で、エンジニアリング組織に大きな影響をもたらしています。トリアージにかかるエンジニアの手間を省くために、重複をすべて取り除きます。継続的統合ができるように、既存の不具合と新しい不具合を区別します。パフォーマンステストだけでなく、すべてのシナリオで、パフォーマンスの退行を追跡します。テストとは直接関係のないパターンや問題を受動的に収集できるようにします。エンジニアが、機能のパターンを長期にわたって追跡するのを支援します。パイプラインの構築には近代的な分析ツールが重要ですが、パイプラインの実験と成長のスピードや俊敏性は、コンピューティングレイヤーとストレージレイヤーの分割無しには実現できなかったでしょう。向けることにより、既存のジョブを邪魔せずに大きな分析ジョブをバッチ処理することができます。いうインフラストラクチャの上に構築されています。つの共有システムに統合し、あらゆるデータ、アクセスパターン、アプリケーションに対するリアルタイムパフォーマンスを可能にします。大浦からのコメント今回の記事は弊社開発チームによるQAパイプラインについてのご紹介でした。現在、エンタープライズのハードウェア製品、自動車や家電など多くの製品が、ソフトウェアによって支えられています。FlashBladeを用いたQAパイプラインの構築は、これらの製品の開発スキームを劇的に改善する可能性につながります。既存のストレージシステムやビッグデータプラットフォームでは想像もつかなかったアプローチを、皆様のビジネスの加速にご活用ください。シフトが加速し、自動車メーカーは変革の局面を迎えています。コネクテッド・カーや自律型車載システムの実現には膨大で複雑なデータの処理が伴います。隔たりを埋める解決策も必要です。融合させる方法について解説します。プラグインの導入についてご紹介します。アプリケーションから見て整合性を保ったイメージバックアップを取得するための方法を解説します。データストアを使用する場合の「お金はかかるが簡単な方法」をご紹介します。