2019年7月10日DeepMindの公式ブログ記事のひとつ「AlphaZero:チェス、将棋、そして囲碁のような偉大なゲームに新しい光を当てる」では、同社が開発した汎用ボードゲームAI「AlphaZero」が解説されています。AlphaZero開発の端緒は、2016年に元囲碁世界チャンピオンであるイ・セドル氏と対戦して勝ち越したAlphaGoまで遡ることができます。AlphaGoはディープラーニングを活用したことで従来の囲碁AIより飛躍的に強くなりましたが、2016年当時はまだ過去の棋譜を学習データとして活用していました。Zeroを開発し、AlphaGoをさらに進化させました。Zeroをチェスと将棋にも対応させたAlphaZeroを発表しました。AlphaZeroは、学習データなしで世界最強クラスのチェスや将棋のプログラムに勝利しました。今回の記事で解説されているのは、この2017年版AlphaZeroをさらにバージョンアップさせたものです。2018年版AlphaZeroも学習データなしで世界最強クラスの各種ゲームプログラムに勝利していますが、記事ではゲームの勝利より重要な成果をふたつ挙げています。ひとつめが「独創的なプレイスタイル」です。学習データを用いずにセルフプレイによって強化されたAlphaZeroは、ヒトのプレイヤーが培ってきた定石にとらわれない指し手を選択します。ひとつが「汎用目的AI実現に向けた進歩」です。従来のAIは特定の問題の解決には優れた能力を発揮する反面、取り組んだ問題に少し変更を加えるだけで著しく問題解決能力が低下することがあります。AlphaZeroの成果は、似たような問題を単一のアルゴリズムで解決する汎用目的AIの実現につながるものとして期待されています。以下に公開する翻訳記事の原文には見出しが設けられていません。翻訳記事では読みやすさを考慮して見出しを設けております。2017年後半にチェス、将棋(日本のチェス)、そして囲碁のようなゲームをいちから習得することを自己教育する単一のシステムであるAlpahZeroを紹介し、そのシステムはどのゲームにおいても世界チャンピオンのプログラムを打ち負かしました。した予備的な結果にわたしたちは興奮し、またチェスのコミュニティに属するメンバーがAlphaZeroのゲームを見て革新的かつ非常にダイナミックであり、今までに現れたどのチェス・ゲームエンジンとも異なる「非因習的な」プレイスタイルだと認めた反応に接して戦慄もしました。本日、Science誌に掲載された(オープンアクセスバージョンはこちら)AlphaZeroの完全な評価を紹介できることをわたしたちは喜ばしく思っております。この評価においては、予備的な結果が確認されるとともにアップデートもされています。AlphaZeroがそれぞれのゲームにおける歴史上最強のプレイヤーになるためにいかに迅速に学習したかを記述しています。学習過程ではビルトインされた学習領域を用いず、ゲームの基本的なルールだけを使ってランダムプレイを行うところから訓練を始めました。元チェス世界チャンピオンのガルリ・カスパロフ氏はScience誌にAlphaZeroを論じた論説「チェス、理性のショウジョウバエ」を投稿している。因習に縛られないクリエイティビティ汎用目的AIの実現に向けて自己教育するAlphaZeroヒトがプレイして築いた規範に縛られず、全く新たにそれぞれのゲームを学習するAlphaZeroの能力は、正統派とは言えない独特なものでありながらクリエイティブでダイナミックなプレイスタイルを生み出す結果となりました。Chessより出版)を執筆するために何千ものAlphaZeroのチェスゲームを分析して、そのプレイスタイルはどんな伝統的なチェスエンジンとも似ていない、と述べています。「それはまるで過去の偉大なチェスプレイヤーが記した秘密のノートを発見したようでした」ともMatthew氏は言っています。Blueを含む伝統的なチェスエンジンは何千ものプレイ・ルールと強いヒトのプレイヤーたちが築きあげた経験則に従っていました。したプレイ・ルールや経験則はゲームにおけるすべての可能性を考慮しようとしていました。将棋プログラムではチェスにはない特殊なルールがある(※註1)のですが、チェスプログラムと似たような探索エンジンとアルゴリズムを使っていました。AlphaZeroでは伝統的なエンジンとは全く異なるアプローチを採用しています。algorithms)に置き換えたのです。註1:将棋では対戦相手の駒を取った後に、その取った駒(「持ち駒」という)を再度盤面に置くことで自分の駒として使うことができるが、チェスでは出来ない。チェスにおいては、AlphaZeroは学習開始後4時間後には早くもStockfishを凌駕する。将棋においては、2時間でElmoを凌駕する。囲碁においては、2016年に伝説的囲碁棋士イ・セドルを打ち負かしたAlphaGoのバージョンを30時間で凌駕した。それぞれの学習ステップには4,096通りの盤面の布陣が使われた。それぞれのゲームを学習するために、訓練されていないニューラルネットワークは自分自身を相手にプレイするという試行錯誤の過程を通じて何百万もの試合を行いました。この試行錯誤から学習する方法は強化学習と呼ばれます。学習のはじめの頃は、全くランダムにプレイしていました。時間が経つにつれて、システムは勝ち、負け、そして引き分けから学習して、未来において有利となる一手を選ぶようにしてニューラルネットワークのパラメータを調整していったのです。歴史上7つの主要タイトルをすべて保持した唯一の棋士の発言ネットワークの学習には、ゲームにおけるもっとも有望な一手を選ぶためにモンテカルロ法(※註2)として知られている探索アルゴリズムを用いました。一手を選択すために、AlphaZeroは伝統的なチェスエンジンが考慮するような局面のごく一部しか探索しません。Stockfishがおよそ6,000万の局面を考慮するのに対して、AlpaZeroは60,000しか探索しません。※註2:モンテカルロ法とは、コンピュータのセルフプレイによってランダムにゲームを進めて終局させることを繰り返すことによって、勝利できる指し手を探索していく方法。この方法はヒトが作るスコア関数(指し手の価値を評価する関数)を用いた方法では、AIがゲームを学習することに限界があったため考案された。チェスにおける探索数を比較した図。ヒトのグランドマスターは1手につき100通りの指し手を探索する。AlphaZeroでは1手につき10,000通り、そして最先端のチェスエンジンでは10,000,000通りを探索する。Zeroを相手としてテストゲームを行いました。それぞれのゲームプログラムは、それぞれのために設計されたハードウェア上で実行しました。Zeroには4基の第1世代TPU(※註4)と44コアのCPUを実装した単一の機械を使いました。GPUのような既成ハードウェアと同じような推論スピードがあります。すべてのマッチは1ゲームにつき3時間の持ち時間があり、さらに一手ごとに15秒が加算されます(※註5)。Championship)の頭文字を集めた略称のこと。スウェーデン人のプログラマーであるマルティン・ソーレンセンが2010年から開催している。主要な強豪ソフトが全て参加し、強力なハイエンドハードウェア上で長時間の持ち時間で多数の対局を行うので、最強のコンピュータチェスソフトを競う大会として注目されている。unit)とは、Googleが開発した機械学習に特化した集積回路のこと。第1世代のTPUは、AlphaGoとイ・セドル氏の対戦で使用された。※註5:フィッシャーモードで対戦したことを説明している。フィッシャーモードとは、持ち時間に加えて一手ごとに決められた時間が加算されていくルールのこと。ルールの名称は、考案者である伝説的チェスプレイヤーのボビー・フィッシャーに由来している。コンピュータ将棋の大会である世界コンピュータ将棋選手権では2016年の第26回大会より「持ち時間10分+1手ごとに10秒加算」のフィッシャーモードが採用されている。こちらからAlphaZeroの棋譜がダウンロードできる。いずれの評価マッチにおいても、AlphaZeroは非の打ちどころがないほどに対戦相手を打ち負かしました。Stockfishを打ち負かし、1,000の対戦のうち155勝6敗でした。AlphaZeroの頑健性を確かなものとするために、わたしたちは一連の試合で序盤をヒトが指すようにして始めました。それぞれの序盤では、AlphaZeroはStockfishを打ち負かしていました。2016年のTCECワールドチャンピオンシップで使われた序盤の布陣から始めた試合も行い、加えてStockfishの最新開発バージョンと対戦した一連の追加試合、そして序盤戦を強化したStockfishのバリアント(別バージョン)とも対戦を行いました。いずれの試合においてもAlphaZeroが勝利しました。将棋においては、2017年のCSA(※註6)の世界チャンピオンとなったElmoのバージョンを91.2%の勝率で打ち負かしました。Zeroを打ち負かしました。Association)の頭文字を集めた略称。AlphaZeroの勝率をまとめた図。左がチェス、中央が将棋、右が囲碁を表す。各ゲームの成績が棒グラフで可視化されており、緑が勝ち、灰色が引き分け、ピンクが負けを意味する。各棒グラフの上段はAlphaGoが白の駒を動かした時、下段は黒の駒を動かした時を表す。因習に縛られないクリエイティビティしかしながら、AlphaZeroがプレイしたそれぞれの試合において各ゲームのプレイヤーをもっとも魅了したのはそのプレイスタイルでした。チェスにおいては、AlphaZeroはセルフプレイによる訓練を通じてヒトが指すような指し手を自力で発見し、その指し手を展開しました。序盤ではキングを安全な場所に置いて、ポーンで布陣を形成したのです。自己教育のおかげでゲームにおける因習的な知恵に縛られないために、AlphaZeroは新規性に富んでいて興奮を覚えるアイデアにもとづいた新しく拡張的な布陣を加えるような直観と戦略を見せたのでした。したアイデアは何世紀にもわたるチェスにまつわる思想を拡張するものなのです。※註7:ロゼッタ・ストーンとは、エジプトのロゼッタで発見された古代エジプト時代に作られた石碑。この石碑には本質的には同一の文章が神聖文字(ヒエログリフ)、民衆文字(デモティック)、そしてギリシア文字で刻まれていたことにより、ヒエログリフの解読を可能とした。上記の発言は、チェスがヒトとコンピュータの知性を測る共通の尺度として採用されてきた経緯をロゼッタ・ストーンになぞらえている。Sadler氏が言うには、チェスプレイヤーがAlphaZeroのプレイスタイルを見て最初に気づくことは、「目的と駒の威力をもってして対戦相手のキングの周りを自分の駒で取り囲む方法」です。続けて彼は、AlphaZeroは自分の駒の効力と移動性を最大化しながら、対戦相手の駒の効力と移動性をも最小化するようなダイナミックなゲーププレイを行う、と言って自身の発言を裏付けています。AlphaZeroの戦略は、一見すると直観に反して「マテリアル」な価値を低く評価しているように見えます。マテリアルな価値とはそれぞれの駒には価値があり、もしあるプレイヤーが対戦相手よりマテリアルな価値が上回っているならば、そのプレイヤーはマテリアルアドバンテージがあるとする現代のチェスを下支えするアイデア(※註8)です。したマテリアルアドバンテージに代わって、AlphaZeroは長期的に見て回収できるゲームにおける利得を得るために早い段階でマテリアルな価値を犠牲にしようとします。※註8:チェスの試合における形勢を判断する方法として、各駒に数値を割り当てて盤上にある自分の駒の数値を合計する、というものがある。した駒に割り当てられた数値が「マテリアル」である。マテリアルには、以下のような数値が用いられることが多い。∞(取られたら試合終了なので評価対象外でもある)マテリアルの合計ではなく、盤上の布陣から形勢を判断する方法を「ポジショナルアドバンテージ」と呼ぶ。Campbell氏はAIがボードゲームを習得する問題にパースペクティブを与える記事「ボードゲームの習得」をScience誌に投稿している。「AlphaZeroは、序盤から非常に幅広い陣形を展開して自身のプレイスタイルを繰り出そうとしています」とMatthewは述べています。AlphaZeroは「まるでヒトが指すように一貫した目的」を持って最初の一手から非常に熟考されたスタイルでプレイする、とも彼は考察しています。「伝統的なチェスエンジンは非常に強く明白な誤りはほんのわずかしか犯しませんが、具体的かつ計算可能な解決策がないような局面に立たされた時には迷っていることがあります。」「AlphaZeroが独自性を発揮するのは、伝統的なチェスエンジンならば迷ってしまうような「感覚」や「洞察」あるいは「直観」が求められる局面においてなのです。」と彼は続けて言います。Caruanaの最近の対戦に関して斬新な考察やコメンタリーを作ることを活気づけ、こうしたAlphaZeroが示した新しい戦略は書籍『ゲームチェンジャー』においてさらに詳しく探求されています。「AlphaZeroの読みがトップのチェスエンジンやチェス・グランドマスターのプレイからいかに異なっているかを見ることこそが魅力的なのです。Regan氏は述べています。AlphaZeroから得られる教えは、わたしたちがAlphaGoと伝説的な囲碁チャンピオンのイ・セドル氏が2016年に対戦した時に見たものをなぞっています。彼との対戦において、AlphaGoは数々の非常に新規性に富む決まり手を打ちました。した決まり手のなかには何千年にもわたる囲碁の思想を覆すような第2試合の37手目が含まれています。今やイ・セドル氏本人を含むあらゆるレベルのプレイヤーによって研究されています。彼は37手目に関して「わたしはかつてAlphaGoは計算された確率にもとづいているだけであり、結局のところ単なる機械に過ぎない、と考えていました。あの37手目を見た時、わたしは自分の考えを変えました。AlphaGoは紛れもなくクリエイティブなのです」と言っています。汎用目的AIの実現に向けてAlphaGoと同様に、AlphaZeroが示したチェスに対するクリエイティブな反応にわたしたちは興奮しております。AlphaZeroが示したクリエイティビティは、バベッジ、チューリング、シャノン、そしてフォン・ノイマン(※註9)といった先人が手作業でチェスプログラムを設計していたコンピューティング黎明期から続いている人工知能の偉大な挑戦を受け継ぐものなのです。AlphaZeroはチェスや将棋、あるいは囲碁で最強となる以上の可能性があります。現実の世界における広範囲な問題を解決できる知的システムを作るためには、そうしたシステムが新しい解決策を見つけられるように柔軟かつ汎用的であることが求められます。した汎用知的システムを開発するというゴールに至るにはまだいくつかの進歩が必要です。進歩して解決すべき問題として、知的システムは特定のスキルを高い水準で習得することはできますが、ほんの少しだけ変更されたタスクが提示されただけでしばしば失敗してしまう、ということがあります。習得したAlphaZeroの能力は、以上のような問題を克服するための重要なステップであります。AlphaZeroは、単一のアルゴリズムが設定された範囲内で新しい知識を発見する方法を学べることを証明しています。ほんの始まりに過ぎないのですが、AlphaFold(※註11)のようなほかのプロジェクトで確かめられたわたしたちの研究を勇気づけるような結果を想起させるAlphaZeroのクリエイティブな洞察は、もっとも重要で複雑な科学的問題に対する新しい解決策を見つけることをいつの日か助けてくれるような汎用目的学習システムを開発するというわたしたちのミッションは達成できる、という自信を与えてくれるのです。1871)は「階差機関」や「解析機関」と呼ばれる計算機械を設計した「コンピュータの父」とも称されるイギリスの数学者。1954)はAIに知性があるかを判定する「チューリング・テスト」を考案したイギリスの数学者。2001)は、今日のデジタル技術の基礎理論となる情報理論を創始したアメリカの数学者。1949年にコンピュータチェスに関する論文「チェスのためのコンピュータプログラミング」を発表し、力ずくの総当たりによる指し手の探索法を提案した。1957)は、ハードウェアとソフトウェアを分離した「ノイマン型コンピュータ」を考案し、今日のコンピュータ・アーキテクチャの基礎を作ったハンガリー出身のアメリカの数学者。※註10:完全情報ゲームとは、ゲームプレイヤーにゲームに関する情報がすべて与えられるゲームのこと。チェスや将棋が完全情報ゲームの典型例である。対義語は不完全情報ゲームであり、プレイヤーはゲームに関する情報を一部しか知ることができない。不完全情報ゲームの典型例は、対戦相手の持ち札を見ることができないポーカーである。※註11:AlphaFoldとは、DeepMindが開発したタンパク質構造予測を実行するAI。アミノ酸から構成されるタンパク質の3次元的構造は遺伝子配列によって決定されるのだが、可能な構造の組み合わせが天文学的な数になるため、タンパク質の構造を予測することは非常に困難である。AlphaFoldは、既存のタンパク質に関するデータを活用した予測システムに対して、自己生成した学習データを用いてさらに訓練を施す自己学習的な「2段構えの学習」を実装したことにより、従来のタンパク質予測システムの予測精度を大きく凌駕した。詳しくはAINOW翻訳記事「AlphaFold:科学的発見のためのAIの活用」を参照。詳しくは、Science誌掲載の論文を読んでください。論文のオープンアクセスバージョンのダウンロードはこちら(PDFファイル)。ガルリ・カスパロフ氏が執筆した上記論文に関するScience誌掲載の論説もお読みください。Campbell氏が執筆したAIがボードゲームを習得する問題にパースペクティブを与える関連記事もお読みください。Sadler氏が選んだAlphaZeroとStockfishのトップ20ゲームのダウンロードはこちら(ZIPファイル)。羽生善治九段が選んだAlphaZeroとElmoのトップ10ゲームのダウンロードはこちら(ZIPファイル)。210試合分のAlphaZeroとStockfish対戦データと100試合分のAlphaZeroとElmo対戦データのダウンロードはこちら。関連するアートワークのダウンロードはこちら。Chessより出版)を読んでください。Hassabisによって為されました。海外トレンドゲーム強化学習この記事が気に入ったらいいねしよう!最新記事をお届けします。週1回、注目のAIニュースやイベント情報を編集部がピックアップしてお届けしています。こちらの規約にご同意のうえチェックしてください。AIに特化したプログラミングコース」開設RECOMMENDこちらの記事も人気です。