Training」の日本語参考訳です。版はこちらからご利用になれます。ビット浮動小数点精度を使用しています。ビットの乗数を使用することで、精度をほとんどまたは全く損なうことなくそれぞれの処理を実行できることを多くの研究者が実証しています。ことは、今後数年間で標準となるでしょう。プロセッサーやその他の製品において、低い精度でトレーニングと推論を実現できるように積極的に取り組んでいます。目は、多くの操作はメモリー帯域幅依存であり、精度を下げることでキャッシュを効率良く利用し、帯域幅のボトルネックを軽減できます。これにより、メモリー階層でデータを高速に移動できるようになり、計算リソースを最大限に利用できます。秒間により多くの操作を処理できるようになります。この記事では、低い数値精度でのディープラーニングのトレーニングと推論の歴史を振り返り、その実現に向けたインテルの取り組みを紹介します。スケーラブル・プロセッサーで利用可能な命令について説明します。利用可能な低い数値精度の関数について述べます。最後に、ディープラーニング・フレームワークでこれらの低い数値精度の関数を利用し、異なる数値精度間の変換オーバーヘッドを軽減する方法を示します。各セクションは、どこからでも読み始められるように構成されています。スケーラブル・プロセッサーを利用したディープラーニングのトレーニングと推論の商用例を含む詳細な説明は、こちらを参照してください。ビットの乗数で行って、それぞれを高い精度に累積できることが研究者により実証されています。ビットに量子化し、バイアスと最初の層の入力は完全な精度を維持しています。データセットを使用してバックワード・プロパゲーションで高い精度の重みを更新しています。データセットで低い数値精度の乗数と高い数値精度のアキュムレーターを使用してモデルをトレーニングし、高い精度の重みを更新しています。確率的丸めを組み合わせることを提案しています。(重み/活性化は非一様分布であるため)。トレーニングして、パフォーマンスの低下を最小限に抑えています。精度低下を達成しています。進化は行わないように推奨しています。精度低下を達成しています。(一部のモデルは、完全な精度の結果と一致させるため勾配スケーリングが必要です)。ビットの固定精度を使用しています。トレーニングしています。数値形式について説明しています。これらの形式の相違点を示しています。符号ビットを示します。仮数部が大きいため高い精度を提供できます。命令セットを利用できます。これらの命令は、低い精度の乗算と高い精度の累算の利用を可能にします。形式でなければなりません。低い数値精度の操作はメモリー使用量が少なく、周波数が高いため、さらなるパフォーマンス・ゲインが得られる可能性があります。