Infrastructure、以下「ABCI」という)」の能力限界に挑戦するABCIグランドチャレンジを実施しています。10月に実施した第2回ABCIグランドチャレンジにおいて、ソニー株式会社(以下「ソニー」という)の研究グループが深層学習の学習速度の世界最速記録を大幅に更新したことが同社のプレスリリースにて11月13日に公表されました。Listで5位を獲得しました。(SC18)」において11月12日(アメリカ中部標準時間)に発表されました。10月に実施したABCIグランドチャレンジでは、ソニーの研究グループがImageNetの画像分類データセットを利用したResNet-50の学習を、2176GPUを用いて約3.7分で完了し、これまで最速とされていた中国Tencent社が7月に記録した6.6分を大幅に短縮しました。Listの世界4位になりました。Listでも508.85テラフロップスで、世界5位になりました。産総研は、今後もABCIグランドチャレンジを通じて、ABCIの高い計算能力により初めて可能になる人工知能分野の最重要課題への挑戦を支援します。(平成28年度2次補正予算)の一環で整備された、高度な人工知能処理を可能にする大規模で省電力のクラウド型計算システムで、2018年8月1日に運用を開始しました。このシステムは、わが国の人工知能技術開発のためのオープンで先進的な高速計算基盤として、産学官連携や多様な事業者による利用を促進し、高い計算能力を活用した人工知能技術の研究開発・実証を加速し、社会実装を推進するとともに、人工知能分野の最重要課題への挑戦を目的としています。柏センターのAIデータセンター棟に構築されました。ABCIは、高性能で省電力のGPUを4352基搭載するとともに、演算処理装置などを外気に近い温度の水で直接冷却することで、世界トップクラスの実運用される省電力クラウド型計算システムを実現しています。研究の経緯ABCIを用いた人工知能分野の最重要課題への挑戦を促進するため、産総研はABCIグランドチャレンジという公募型プログラムを2018年度より実施しています。所属する者を対象に、ABCI上で最大1088ノード(4352GPU)を最長24時間使用して大規模処理を行う人工知能に関する挑戦的な課題を公募し、各回とも2課題程度を採択します。採択された課題についてはABCIグランドチャレンジ実施と小規模実行によるリハーサルを行う機会を無償で提供します。2018年度は計3回の公募を行う予定です。ABCI利用約款に定められた事項を順守する必要があります。3課題を採択し、運用開始前の7月に実施しました。第2回の公募では、東工大、ソニーの2課題を採択し、10月に実施しました。第1回、第2回の計5課題は、ImageNetの画像分類データセットを利用したResNet-50の学習を、ABCIが搭載する膨大な数のGPUを用いて精度を落とすことなく大規模並列で高速に実行するという共通の課題への挑戦でした。Listのベンチマーク計測は、第2回のABCIグランドチャレンジと併せて実施しました。第3回の公募は、11月末に締め切られ、1月末に実施される予定です。画像処理に適した深層学習においては学習の速度が重要になります。深層学習のアルゴリズムの性能評価の一つに、ImageNetの画像分類データセットを利用したResNet-50の学習速度を競う国際的なベンチマークがあります。大規模GPUを利用した分散深層学習では、バッチサイズが巨大になるため学習精度が低下し、またGPU間の通信オーバーヘッドがボトルネックとなって学習スピードも低下することが知られています。今回ソニーが開発した手法をABCIに適用することで、2176GPUを用いて約3.7分で完了し、これまで最速とされていた中国Tencent社が7月に記録した6.6分を抜いて、現時点で世界最速の深層学習処理が可能になりました。本チャレンジは、ABCIが提供するSingularityと呼ばれるコンテナミドルウェアを利用して実行しており、コンテナを用いた分散処理の実例としても世界最大級となります。オープンソース版を自由に使うことができます。今回の成果の一部は以下で公表されています。Listで世界8位になっていましたが、今回新たに1ワットあたり14.423ギガフロップスと電力あたりの性能に最適化した計測を行ったことで、前回のランキングを更新し4位にランクアップしました。Listにおいて508.85テラフロップスで世界5位を達成し、産業利用など実際のアプリケーションを実行する上での優位性を示すことができました。今回、優れた性能や省電力性が認められたABCIは、2018年8月より本格運用を開始しています。本格運用では、学習済みモデルやオープンデータ、学習済みデータセットの提供を視野に入れたABCI利用サービスを構築します。ABCIを活用し、産学官連携や多様な事業者による利用を促進し、高い計算能力を活用した人工知能技術の研究開発・実証を加速し、社会実装を推進するとともに、人工知能分野の最重要課題への挑戦を支援します。ビッグデータ活用のためのシステム連携技術や大規模データ解析技術の研究開発を行うとともに、運用から課題を洗い出し、計算プラットフォーム構築技術の高度化研究につなげます。◆ABCIグランドチャレンジABCIを利用した人工知能分野の最重要課題への挑戦を促進するため、産総研が実施する公募型チャレンジプログラム。採択課題には、ABCIの最大1088ノード(4352GPU)、最長24時間の利用権が与えられる。消費電力)を1位から500位までランキングしているリスト。連立一次方程式の反復解法の一つ。前処理と組み合わせることで直接法に比べて速く解けることが知られており、コンピューターシミュレーション分野における産業利用など実際のアプリケーションで広く使われている。Gradients)の性能値を半年ごとに1位から500位までランキングしているリスト。[参照元へ戻る]◆ImageNetスタンフォード大学がインターネット上から収集した画像データセット。一般画像認識のベンチマークに用いられる。(MSRA)が発表したニューラルネットワークのモデル。画像認識の分野で一般的に用いられる。Unit)本来はコンピューターグラフィックス専用のプロセッサーだったが、グラフィックス処理が複雑化するにつれて性能や汎用(はんよう)性が増し、現在では高性能計算向けの汎用ベクトル・行列演算プロセッサーに進化している。深層学習の高速化にも広く用いられている。Second)は1秒間に行える浮動小数点演算の回数を表す。ギガ(10の9乗)、テラ(10の12乗)は接頭語。Listスパコンのベンチマーク速度性能値を半年ごとに世界1位から500位までランキングしているリスト。[参照元へ戻る]◆計算ノード計算システムを構成するコンピューターの最小単位。CPU、GPUなどの演算処理装置、メモリー、二次記憶装置などからなり、主として計算処理を行う。ABCI利用約款ABCIは、産総研以外の法人などによる外部利用が可能となっている。本約款は、外部利用に対して適用される条項をまとめたもの。複数のGPUを同時に利用して並列に学習モデルを更新するため、「GPUあたりのデータの個数×GPU数」がバッチサイズとなる。[参照元へ戻る]◆コンテナミドルウェアコンテナとは軽量な仮想化環境の一種。コンテナミドルウェアは、コンテナをベースとしてソフトウェアの簡便な配布・インストール・実行・再利用を可能にするミドルウェアのこと。Singularityは、ローレンスバークレー国立研究所で開発され、大規模クラウド計算システムに適したコンテナミドルウェア。Libraries(NNabla)ソニーが開発する深層学習の研究・開発・実装を効率化するフレームワーク。