つの最適化手法の比較を以下に示します。ベースの最適化手法を使用してサービスのパフォーマンスをテストするとよいでしょう。この手法でサービス要件を満すことができれば、それを直接デプロイできます。ツールキットによる最適化手法を試します。つのシステムレベルの最適化手法のパフォーマンスに影響します。よる並列計算の高速化を使用しているため、パラメーターの設定はパフォーマンスに大きく影響します。パラメーターの推奨設定は次のとおりです。コアの数バッチサイズは、推論サービスのパフォーマンスに影響します。オンラインサービスは一般に小さなバッチサイズのジョブで、オフラインサービスは多くの場合大きなバッチサイズのジョブです。コアの数が増えるにつれて、推論スループットが低下します。コアの数が増えるにつれて、推論スループットも直線的に向上します。使用することを推奨します。命令セットに応じてパフォーマンス・アクセラレーションが異なる場合があります。命令セットがアップグレードされているためです。形式の入力データを使用することを推奨しています。形式をサポートしています。つの入力データ形式をサポートします。入力形式を推奨します。アプリケーションの最適化アプリケーション・レベルの最適化では、最初にアプリケーションのすべての側面をエンドツーエンドでテストするパフォーマンス解析を実行してパフォーマンスのボトルネックを見つけ、適切な最適化を実装します。タイミング・パフォーマンス解析ツールを使用して行うことができます。アクセラレーション、エンコードやデコードなどのその他の特定のアクセラレーション手法、ライブラリーやハードウェアの使用、フレーム抽出、特徴の埋め込みなどが含まれます。使用してボトルネック解析を行い、マルチスレッド/マルチプロセスの並列処理を利用してサービスを最適化できます。介してビデオストリームの読み取り、デコード、フレーム化、および前処理を行います。処理済みのコードストリームは、ディープラーニング・ネットワークに渡され、結果のセットを使用してビデオ品質を評価し、ビデオの種類を決定します。よって取得されたオリジナルのアプリケーション・スレッドを示します。デコードと前処理にあります。最適化されたサービススレッドの状態です。ビデオストリームは同時にデコードされ、バッチで前処理されます。スレッドにバッチ転送され、サービスを最適化します。パイプライン設計の改善、専用のデコード・ハードウェア・アクセラレーション、およびその他の手法により、サービス全体のパフォーマンスをさらに向上できます。推論パフォーマンスを向上する一般的なアルゴリズムの最適化手法には、バッチサイズの調整、モデルの調整、モデルの量子化などが含まれます。モデルの調整と量子化には、モデル構造とパラメーターの調整が含まれ、通常、アルゴリズム・エンジニアがモデルの精度要件を確認する必要があります。推論効率に対するバッチサイズの影響バッチサイズを選択する際の基本原則は、レイテンシーに敏感なサービスでは小さなバッチサイズを選択し、スループットに敏感なサービスでは大きなバッチサイズを選択することです。推論サービスのスループットとレイテンシーに対する異なるバッチサイズの影響を示します。増やすと、レイテンシーに影響を与えることなく、スループットが向上します。)、スループットは変わらず、サービス・レイテンシーが大幅に低下します。コアの数とサービスのパフォーマンス要件に応じて、最適なバッチサイズを選択する必要があります。ハードウェア上のエッジからクラウドに至るプラットフォームにおいて、ディープラーニング・モデルの推論を素早く、効率的に高速化します。ツールキットについて説明します。ビデオと画像処理に使用されます。ワークロードのパイプラインで、ビデオ/オーディオコーデックと処理を高速化できます。オフラインモデル変換を行うため、コマンドライン・インタープリターで使用されます。オプションを使用して明示的にフレームワークの種類を指定できます。つのコマンドは等価です。よってロードされます。詳細な使用法は、オンライン・ドキュメントとユーザーガイドを参照してください。使用するプログラムで、クロスプラットフォーム・ランタイム推論を実装および最適化できます。ハードウェア・ベースの最適化をサポートします。応答して、推論プロセス中のネットワーク・トポロジーの層の実装にパフォーマンス・ゲインをもたらします。オープンソース化され、ユーザーはカスタム定義クラスを追加したり書き換えてソースコードをリビルドし、カスタマイズされたディープラーニング・デプロイメント・ツールキットを生成できるようになりました。モデルの推論、およびスループット・ストリーム・モードも提供します。ツールキットの商用使用例ディープラーニング・ニューラル・ネットワーク推論は、産業および商用アプリケーションの画像、テキスト、および音声のインテリジェントな認識と検出に広く使用されています。使用例を示しています。ライブコメントとは、ビデオの上にリアルタイムで表示されるコメントです。スマート・ビデオ・プラットフォームは、ビデオフレーム内のポートレートとオーバーラップするコメントを、ブロックする代わりに背景に残すことができます。非ブロッキング・スマート・ライブ・コメントを効果を示す画像この機能は、セマンティック画像セグメンテーション・モデルの推論を介して、単一のビデオフレームごとにイメージマットを適用することで実装できます。おいて、より正確な結果と容易なデプロイメントを提供します。これは、推論パフォーマンスと精度のバランスを開発者が微調整できる柔軟なソリューションです。使用して期待する機能を実現できます。スクリプトに従ってください。モデル・オプティマイザーのモデルカット機能を使用して、モデルの前処理部分をカットします。ツールキットを使用するステップは次の通りです。モデルにおいて大幅なスピードアップをもたらします。