素晴らしい処理能力が重要な役割を果たしてきました。対して、大規模なハードウェア並列演算能力を活用する方法を編み出しました。おかげで開発者やデータサイエンティストは複雑なモデルを医療画像分析や自動運転の大量のデータで学習できています。これが10年前の最速のスーパーコンピューターと同じパフォーマンスだなんて信じられるでしょうか?もちろん、モデルの学習は話の半分に過ぎません。推論、すなわちモデルによる新しいデータサンプルに対する予測についてはどうでしょう?残念ながら開発者は、インスタンスタイプやサイズを選ぶ際にたびたび頭を抱えています。利用するのは採算が合わないかもしれません。リソースの方が大切かもしれません。インスタンス(バージニア北部リージョンで1時間あたり$1.53)が必要だとします。かかりますが、これはリアルタイムな処理には間違いなく遅すぎます。移行すると、推論のパフォーマンスは180msまで改善しますが、p2.xlargeではvCPUやRAMの搭載量がより減少するためアプリケーションのパフォーマンスに影響を与えることになります。そのような妥協は必要ありません。よる推論アクセラレーターを取り付けることができるサービスを発表でき、非常に嬉しく思います。ノートブックインスタンスとエンドポイントにも利用可能で、ビルトインアルゴリズムや深層学習環境にアクセラレーターを適用できます。使用すれば、高速化されたインスタンスを必要な時に追加、削除することができます。経由で適用)をサポートします。リソースや取り付けられたアクセラレーターに分散させています。上で利用可能で、それを元にご自身のイメージやコンテナにビルドすることもできます。利用時は自動的に提供されます。様々な種類の推論モデルに対して効率的に使い分けることができます。混合精度演算これにより、アプリケーションに最適な料金/パフォーマンスの比率を選ぶことができます。インスタンスは、バージニア北部リージョンで1時間あたり$0.22になります。専有しているため、バージニア北部リージョンで1時間あたり$0.90かかります。アプリケーションに適したインスタンスタイプを選択することで、同等のGPUパフォーマンスに対して75%ものコストを削減できます。例を詳しく見てみましょう。インスタンスでこのサービスを利用するために必要な手順の概要を示します。インスタンス用に、インバウンドのSSHトラフィックのみを許可したセキュリティグループを作成する。サービスへの接続を許可する。トラフィックのみを許可するセキュリティグループを関連付ける。VPCごとに一度だけこの設定を行う必要があり、エンドポイントの料金はアクセラレーターの料金に含まれることにご留意下さい。インスタンスを立ち上げましょう。Inferenceを利用するために新しいAPIを学ぶ必要はありません。アクセラレーターのタイプを記述するパラメータを追加で渡すだけです。数分後、インスタンスが起動し接続することができます。上にに大規模な事前学習済みの畳み込みニューラルネットワークを読み込みます(事前学習済みモデルにあまり詳しくない場合は、前回の投稿で私がそのトピックをカバーしたのでご覧ください)。ネットワークを使用します。Accelerator上で1枚の画像分類を行います。labels[i]))ご覧の通り、2つ程違いがあります。Acceleratorのみ紐付けられているのでナンバリングは不要です。あるイメージを明示的に読み込むことはしません。これは自動で処理されます。この例を実行すると以下のような結果が得られます。