ネズミは猫が怖いです。ドリーは何が怖いですか」(答:狼)といった質問応答である。加えて、関係の無い情報に惑わされない(ネズミは関係ない)能力が求められる。米Facebook社が公開した質問応答向けのデータセットである。全部で20種類の質問応答タスクが定義されている。上記はその一例である。赤字部分が質問に対する正しい答え。(質問応答:米Facebook社)[画像のクリックで拡大表示]DNCは20種類の質問と10000の質問応答タスクにおいて3.8%のエラー率となり、従来手法の最高精度である7.5%を大きく超えた。これは同様に短期記憶を実現するLSTM(25.2%)やNTM(20.1%)のエラー率を大きく上回っている。bAbIは自然言語データではあるが、そこに書かれている事実は(羊−怖い→狼)のようにエンティティをノード、関係をエッジ上のラベルとしたラベル付き有向グラフで表すことができ、質問応答はそのグラフ上での操作に対応付けることができる。DNCは時間遷移行列を使ってグラフ構造を記憶でき、コンテンツベースのアテンションでノードや枝の類似性に従ってたどることができると考えられる。このグラフを扱う能力をさらに検証するため、2つ目の実験としてグラフデータに対するタスクでDNCを評価した。具体的にはランダム有向グラフや地下鉄の路線図、家系図といったグラフデータを与えた上で、巡回問題(例:大手町駅から三田線、次に有楽町線に乗って豊洲に行くにはどの駅をたどるのか)、最短経路問題(例:大手町から渋谷駅まで最短でどのような経路をたどればよいか)、推論問題(例:徳川慶喜の母方の大叔父は誰か)といったタスクで評価した。グラフ情報は、bAbIと同じように各エッジを順番に提示することで読み込ませている。学習の際は、カリキュラム学習を利用しており、簡単で小さなグラフでタスクを学習させてから、順に大きくて複雑なグラフを与えて学習を行った。DNCは多くのグラフの問題を解くことができ、従来の学習手法では全く解けないような場合も解くことができた。最後のタスクとして、Mini-SHRDLUというブロックパズルゲームを解かせた(図2)。このタスクでは、例えば、3×3のマス目に1から6の数字が積み重ねられており、各列の一番上にある数字を別の列の一番上に移動することができる。その上で6は2の下、4は1の右といった拘束条件が与えられ、初期状態から、与えられた拘束条件を全て満たすような状態への遷移方法を求めることが目標となる。DNCはこのMini-SHRDLUもカリキュラム学習を通じて学習することができ、多くの問題を解くことができた。興味深いことに、DNCはこれから実行する行動を最初に外部記憶へ書き込んでいることがわかった。DNCは計画を立てた上で、実行していることがわかった。「各列の一番上にある数字を、別の列の一番上に移動できる」というルールである。人では思い付かないアルゴリズム考案の可能性もニューラルネットワークが連続的で確率的な問題だけではなく、このような離散的で手続き的なタスクを学習できると示したことは非常に重要である。人はこれまでアルゴリズムを発明し、プログラムを書くことができたが、全てが得意なわけではない。性能が出て正しく動作する並列アルゴリズムを書くことは困難である。DNCは並列で読み書きをし、効率よく解くアルゴリズムを発明し、今後の進化次第では人では思いもつかないようなアルゴリズムを発明できる可能性もある。外部記憶が拡張可能であり(アテンションの仕組みは外部記憶のサイズに依存していない)、次々と新しいタスクを学び続けることができる方向が示されたことも重要である。DNCの成果は既に実用段階にある画像認識や音声認識と比べてまだ萌芽的ではあるが、今後大きな発展が期待される。Infrastructureを共同創業。日経Robotics記事は執筆時の情報に基づいており、現在では異なる場合があります。プレイヤーなど各サービスの全貌、業界別の参入機会・可能性などを解説。世界最大のファウンドリーが日本で求人エレキ世界最大のファウンドリーが日本で求人あらゆるプロセスで顧客ニーズに対応セキュリティも万全な新IoT向けマイコン毎月更新。Reserved.このページに掲載されている記事・写真・図表などの無断転載を禁じます。掲載している情報は、記事執筆時点のものです。