Processors」の日本語参考訳です。版はこちらからご利用になれます。サポートするため、計算能力に対する需要が急速に高まっています。真の生産性を実現できるようにすることです。ベースのディープラーニング推論サービスを最適化し、計算リソースの節約に成功しました。インターフェイス・リクエストを提供することを指します。示すように、モデル・ローディング、モデルバージョン管理、バッチ処理、マルチパスサポート、サービス・インターフェイスのカプセル化などの関数が実装されています。基づいた推論サービスの自動デプロイメントを提供しています。ベースのアプリケーション・エンジンを介してサービスを管理できます。示すように、サービスの最適化プロセスは、最適化の目標に向かって繰り返し移動するプロセスです。サービスの最適化プロセスディープラーニング推論サービスを最適化するには、サービスの最適化の目標を決定するため、最初にサービスのタイプと主要なパフォーマンス・メトリックを明確にする必要があります。集約型に分類できます。ベースの画像/ビデオ・アルゴリズムは、多くの場合計算要件が高いため、計算集約型サービスです。集約型サービスに分類されます。サービス品質の観点からは、レイテンシーに敏感なサービスとスループットが大きいサービスに分けることができます。通常、オンラインサービスのほとんどはレイテンシーに敏感なサービスで、短い応答時間が要求されます。オフラインサービスは、バッチ処理される大きなスループットのサービスです。ディープラーニング・サービスの最適化の目標と手法は、サービスのタイプにより異なります。示すように、応答レイテンシー、スループット、およびモデル精度が含まれます。つの主要メトリックです。主要メトリックが明確になったら、サービスの規模を解析し、各サービスのパフォーマンス要件を計算できます。ディープラーニング推論サービスの最適化手法は、システムレベル、アプリケーション・レベル、アルゴリズム・レベルに分けることができます。以下に示すとおり、各レベルには対応するパフォーマンス解析ツールがあります。Amplifierシステムレベルの最適化は、ハードウェアとプラットフォームの両方の計算処理を高速化します。アプリケーション・レベルの最適化は、主に特定のアプリケーションとサービスのパイプラインと並列性を向上します。通常のディープラーニング・サービスには、推論に加えて、データの前処理、後処理、およびネットワーク要求応答が含まれます。優れた並列処理設計は、サーバーのエンドツーエンドのパフォーマンスを効率良く向上します。アルゴリズム・レベルの最適化は、ディープラーニング・モデル自体に注目して、ハイパーパラメーター設定、ネットワーク構造のクリッピング、および量子化によるモデルのサイズと演算強度の軽減などの手法を利用して、推論プロセスを高速化します。ツールキットを使用します。命令による高速化を含みます。公式にサポートしています。ソースコードを直接ビルドします。