シニアリサーチャー)概要:ABCIグランドチャレンジにおいて、我々は巨大ミニバッチによる分散並列深層学習の高速化を実施した。画像認識に用いられるResNet-50を用いて多数のGPUによるデータ並列学習を行い、ILSVRC2012のデータセットに対して精度が75.9%を超えるまでの実行時間を計測する。本ABCIグランドチャレンジでは全てのノードが利用可能であるため、上記ResNet-50の学習をどこまで高速化できるか挑戦した。最終的に768ノード(3072GPU)を用いて62.1秒での学習完了を達成した。アクセラレータを用いた大規模な分散並列処理の高速化に従事。現在は深層学習を対象に高速化研究に携わる。シニアAIシステムリサーチャー)概要:本セミナーでは、ソニー独自のディープラーニング・フレームワークとABCIを活用した大規模な分散DNN学習の取り組みについて説明する。ソニーは2010年から独自のフレームワークの開発を進めており、これにより開発者は直感的にニューラルネットワークを設計することが可能となる。同フレームワークとABCIを活用した大規模な分散DNN学習の開発を進めている。大規模GPUを利用した分散DNN学習では、バッチサイズが巨大になるため学習が収束しないことが知られている。ABCIの4000基強のGPUを活用して学習を進めるためには100Kを超えるバッチサイズが必要となる。今回、我々は独自のオプティマイザ(STiLL)により、128K超のバッチサイズでの学習に成功した。ソニー株式会社に入社。VAIO(PC)等の商品開発に従事し、2007年より研究開発部門でデジタルサイネージにおけるユーザーインタラクションの研究開発を行う。その後、2011年より分散並列処理の研究開発に携わっており、2016年からは分散DNN学習に取り組んでいる。網羅的な理解は新薬開発や疾病メカニズムの解明に重要である。5.0によって、ヒト細胞内PPIの網羅的解明に向けた実証評価実験を実施した。GPU超の大規模並列環境を想定した並列性能向上のための改善を施した。本実施では主に次の3つの項目を達成した。GPU)によって2,500万ペア超の大規模なPPI予測計算を約8.8時間で完了できることを示した。(対16ノード値)の並列実行性能を達成した。同システムのSingularityコンテナによる仮想化版において、ネイティブ環境と同等性能(強スケーリング0.964)で計算できることを示した。盛んになってきている。本研究では、二次最適化の汎化性能と計算量の問題を解決した独自技術を言語モデルに応用し、その収束性の向上および学習時間の低減を目指す。これまでに行ってきたImageNetの学習ではデータセットが小さすぎたため二次最適化の短所である過学習の問題が起きていたが、巨大な言語モデルの学習には何TBものデータを用いるため過学習は起きにくく、二次最適化の長所である収束の早さが活かせる。これとは別にプリンストン大学のチームが行った再帰型のニューラルネットを用いたプラズマの挙動予測についても紹介する。センターが主催するセミナーおよびワークショップのコミュニティです。人工知能研究センターでは、人工知能研究に関する情報交換を目的として、原則として月に一度、外部の方やセンター内研究者を講師とする人工知能セミナーを開催しています。基本的にどなたでも無料でご参加いただけますので、人工知能に興味のある方は奮ってご参加ください。