LLM)(注5)の分散並列学習手法の研究開発を2023年5月から実施します。大規模言語モデルは、ChatGPT(注6)をはじめとする生成AIの中核として使用されている深層学習のAIモデルであり、4者は今後今回の研究開発の成果物を公開することで、アカデミアや企業が幅広く使える大規模言語モデルの構築環境を整え、国内におけるAIの研究力向上に貢献し、学術および産業の両面で「富岳」の活用価値を高めることを目指します。あらゆる側面から基盤技術として期待される一方で、基盤モデルの性能を高めるためには大量データを効率的に処理する高性能計算資源が不可欠です。おいて、「富岳」を活用した大規模言語モデル分散並列学習手法の開発に向けた研究開発を行います。今回開発する大規模言語モデル分散並列学習手法は、スーパーコンピュータ「富岳」の超大規模な並列計算環境において大規模言語モデル学習を効率良く実行する技術となります。各機関・企業の役割は以下の通りです。Face(注8)を通じ公開する予定です。多くの研究者や技術者が基盤モデルの改善や新たな応用研究に参画することで、効率的な方法が創出され、次世代の革新的な研究やビジネスの成果に繋がることが期待されます。名古屋大学(注9)や、大規模言語モデル構築のためのデータおよび技術提供を行う株式会社サイバーエージェント(注10)との連携も今後検討していきます。「富岳」向け高性能計算基盤ソフトウェアの開発とAIモデルの性能チューニング、東北大学の自然言語処理の技術を融合させていきます。実施するための環境が整備されることで、我が国のAIの研究力向上への貢献が期待されます。学習データの情報に透明性があり、日本語データを中心にした、商用利用も可能なオープンソースの大規模言語モデルを構築します。学習データのトレースを可能にすることによって、ブラックボックス問題、バイアス、誤情報・ハルシネーション等に関する科学的検証に耐える研究が可能になると期待されます。東北大で培った言語処理モデルの深層学習や日本語処理を考慮した言語モデル構築の知見も活かしながら大規模モデル構築の試行錯誤を重ね、得られた知見を広く共有することによって、我が国のAI研究力向上へ貢献してまいります。Platform」を介して提供することで、画期的なアプリケーションの開拓を促進し、持続可能な社会の実現に貢献してまいります。「富岳」で開発された「A64FX」(注11)は、SVEと呼ばれるAIの加速機能を備えていますが、その能力を最高に発揮し、かつ一般的なAIアプリで活用するには、ソフトウェアの開発と最適化が不可欠です。今回の共同研究を通じて、本計算科学研究センターの研究者を含む、我が国の言語モデルや計算機科学の研究者が結集して、スーパーコンピュータ「富岳」上で大規模言語モデル構築基盤の高度化に取り組むことが重要です。活用した大規模言語モデル分散並列学習手法の開発(課題番号:hp230254)詳細につきましては下記サイトをご参照ください。