Systems」の日本語参考訳です。今日のほとんどの推論アプリケーションでは、低レイテンシー、高メモリー帯域幅、大きな計算能力が求められます。[2]、この要求はさらに高まることが予想されます。スケーラブル・プロセッサーは引き続き、推論システム、特にアクセラレーターに収まらない大きなメモリー・フットプリントのスパースモデルにおいて、優れた推論を提供します。ビットの乗数を使用することで精度をほとんどまたは全く損なうことなく、ディープラーニングの推論を低い精度で行えることをインテルの研究者が実証しました。目は、多くの操作はメモリー帯域幅依存であり、精度を下げることでキャッシュを効率良く利用し、帯域幅のボトルネックを軽減できます。秒間により多くの操作を処理できるようになります。データ型による高速化を説明します。命令セットをサポートしています。これらの命令は、低い精度の乗算と高い精度の累算の利用を可能にします。ブーストを介して組込みアクセラレーションを提供し、低い精度の推論を高速化します。ライブラリーで、最適化されたソフトウェア・サポートを提供しています。利用可能な低い数値精度の関数を量子化する方法も説明します。スケーラブル・プロセッサーの高メモリー帯域幅と大容量メモリーにより利点が得られます。よりパフォーマンスを高速化できます。データセットを考慮して、最高のパフォーマンスを達成するためモデルを最適化する方法を説明します。結果を出力する汎用行列乗算関数をサポートします。関数を利用して推論パフォーマンスを高速化するため、ワイドおよびディープラーニングのモデルの深い部分の全結合層を量子化する方法を説明します。倍の推論パフォーマンスを提供します[4]。一般的なマシンラーニング・フレームワーク上の典型的な推奨システムにおいて、小さなバッチサイズのユースケースで実証されています。このパフォーマンス向上についての詳細は、記事を参照してください。フォローしてください。