Blog人工知能であらゆる機械の自動化を目指すDeepXのメンバーが、最新の人工知能研究について発信します。2018-07-11Tweetエンジニアの吉田です。ICLR2018の参加報告を計4回にわたって行なっており、今回は3回目にあたります。第1回の報告では、ICLR2018の概要(ハコ)と強化学習の研究領域の簡単な紹介をしました。第2回からは、ICLR2018で発表された論文(ナカミ)の紹介をしています。第2回では強化学習における転移に関して整理し、また、関連する論文を紹介しました。今回は、強化学習におけるカリキュラム生成と模倣学習に関連する論文を紹介します。その解決策になりうる模倣学習とカリキュラム生成という研究分野に関して整理します。ICLR2018において発表された論文を模倣学習とカリキュラム生成それぞれについて1つずつ紹介します。強化学習における報酬の機能は2つあります。1つは、方策の学習を効率化し早く学習が進むようにさせることで、1つは、学習後の挙動を意図したものになるようにさせることです。強化学習エージェントにとって報酬は、方策学習のための唯一の教師シグナルであり、どう行動すればよいかの唯一の手がかりになります。そのため、報酬の設計次第で、方策の学習ができるかどうか、学習できたとしても学習後のエージェントが設計者の意図した挙動をするかどうかが分かれます。第1回で整理した強化学習研究の整理表において2つの機能がどこに当たるか見ておきましょう。表のオレンジの箇所が報酬の機能に当たります。強化学習を機械制御に応用させる前には、しばしばタスクを設計する必要があります。これは、適用対象の機械やその機械で達成したい操作がまだ強化学習のタスクとして設計されていないことが多いためです。それぞれを設計します。中でも設計が難しく、研究対象として注目されているのが報酬関数の設計になります。実際に、複雑な制御・操作においては、実験結果を踏まえた報酬関数の改良を繰り返すことが多いです。この2つの機能を果たす完璧な報酬を人が設計することは非常に難しく手間がかかります。次の章では報酬設計の不備が引き起こす問題に関して説明します。報酬設計の不備によって主に方策の学習ができない、学習できたとしても学習後のエージェントの挙動が意図した挙動でないという2つの問題が生じます。この章では過去の研究文献で報告された報酬設計の不備によって生じた問題について取り上げます。Network(DQN)は強化学習の華々しい成功例の1つです。2600の49種類のゲームを同じアルゴリズムで解いた結果29種類のゲームにおいて人間の得点を上回るという成果を上げています。Revengeというものがあります。Nature版DQNの結果。Revengeは報酬の得られる頻度が非常に少なくランダムな行動をしていてはほとんど報酬を得られないゲームになっています。このような報酬のことを「疎な報酬」と呼びます。疎な報酬の問題設定では方策の教師シグナルがほとんど得られないため学習できず強化学習の苦手なタスクになってしまいます。学習後のエージェントの挙動が設計者の意図した挙動と乖離するDeepMindによるロボットハンドに器用な物体操作を学習させる論文で、学習後のエージェントの挙動が意図したものにならなかった例が紹介されています。ロボットハンドが赤いレゴブロックを持ち上げて青いレゴブロックにはめて積み上げるタスクを行った結果が下図になります。初期実験では、この時赤いレゴブロックの底面の高さを報酬にするという簡単な報酬設計を行っていましたが、結果として意図しない「赤のレゴブロックをひっくり返す」という挙動をロボットハンドがしてしまっています。これに対してPopovらは下図のように報酬を作りこむことで意図した挙動をさせています。