2.0)」を発表しました。Brainが開発した事前学習モデルを上回る数だとのことです。中心として、複数の機関に所属する100人を超える研究者らによって開発された深層学習モデルです。研究者らは主張しています。パラメーターは機械学習モデルによって定義される変数であり、学習によってモデルが進化するにつれてパラメーターは洗練され、より正しい結果を得ることが可能になります。そのため、一般的にはモデルに含まれるパラメーター数が多いほど機械学習モデルは洗練される傾向があるとのこと。悟道2.0は合計4.9TBのテキストおよび画像データで訓練されており、この訓練データには中国語と英語のテキストをそれぞれ1.2TBずつ含んでいるとのこと。画像生成や顔認識といった特定のタスクに特化した深層生成モデルとは違い、エッセイや詩を書いたり、静止画像に基づいて補足する文章を生成したり、文章の説明に基づいて画像を生成したりすることもできるそうです。Yan氏は、「巨大なデータセットで訓練されたこれらの洗練されたモデルは、特定の機能に使用する場合、少量の新たなデータしか必要としません。人間と同じようにかつて学習した知識を新たなタスクに転用できるためです」とコメント。Hongjiang院長は、「大規模な事前学習モデルは、汎用人工知能へ向かう最良の近道の1つです」と述べ、悟道2.0が汎用人工知能を見据えたものだと示唆しました。多額の投資を行っており、2018年と2019年だけで3億4000万元(約58億5000万円)の資金が提供されたとのこと。アメリカ政府も2020年に、AIと量子コンピューティングに1000億円超の投資を行うことを発表するなど、米中間におけるテクノロジー競争は激化しています。Hardwareは悟道2.0の発表について、AIの性能においては必ずしもパラメーターの数だけが重要ではなく、データセットの量や内容も重要だと指摘。GPT-3はわずか570GBのデータで訓練されましたが、このデータは事前処理によって45TBのデータセットからしぼられたデータだったとのこと。そのため、「悟道2.0に関連する生の数値は印象的ですが、モデルのパフォーマンスを示すものではない可能性があります」と主張しました。