このような報酬を作り込むことは非常に手間がかかりますし、大量の試行錯誤を要するため、特に実機制御においては、コストが大きいです。方策の学習ができない問題を解決する方法としてカリキュラム生成を、設計者の意図した挙動にならない問題を解決する方法として模倣学習を取り上げます。方策の学習が進まない問題は、教師シグナルが与えられる頻度を増やすことで解決できます。強化学習におけるカリキュラム生成という分野はなるべく簡単な事から始めて難しいことを徐々にできるようにすることで、教師シグナルを増やすことを目指しています。Replay(HER)という手法が提案されています。これはゴール状態を引数に取る特殊な価値関数を用いることで、どの状態に到達したとしてもその状態に行きたかったと思い込むことで教師シグナルを増やす手法です。これは失敗した経験を簡単なタスクとして捉えて、どんどん難しいタスク(成功)に向かわせる暗示的なカリキュラム生成の手法と見ることが出来ます。これによってたとえ失敗の試行であったとしてその経験を学習に活かすことが出来ます。この手法を用いて疎な報酬においてもタスクを解けることを報告されています。HERはゴール状態を水増しすることで教師シグナルを増やしていましたが、タスクの難易度を調整させることで方策の学習を促すカリキュラム生成の研究もあります。Berkeleyのチームが発表した研究です。不備によって設計者の意図した挙動と違う挙動をエージェントが行ってしまう問題は、エージェントに真の報酬を推定させることにより解決できます。このアプローチにより問題の解決をしようというのが、模倣学習になります。与えられるが、報酬は与えられない問題設定において、エージェントが最適な方策を学習する手法です。模倣学習には大きく分けて、教師あり学習のアプローチと逆強化学習を用いて報酬を推定するアプローチがあります。Learningというものがあります。Cloningは入力をエキスパートの状態、出力をエキスパートがその状態で行った行動として回帰を行う手法です。Cloningを自動運転に応用する研究の概要です。2016]しかし、この方法はエキスパート軌道に含まれない状態においてどう行動を取ればいいかわからないため、一度エキスパートから外れると誤差が蓄積して望まない挙動をすることになります。この問題に対する解決策は2つあります。1つの解決策はできるだけ多くのエキスパート軌道を集めることです。上で紹介したNVIDIAの研究では正面の画像だけでなく左前・右前を撮影するカメラを搭載することでデータを水増ししています。走っているデータでも、左前や右前の画像が正面に見えたときに、車線を復帰しようとしている行動と捉えて水増ししています。2016]もう1つの解決方法が、以下に説明する逆強化学習を用いた模倣学習になります。報酬を復元して探索を含む強化学習をすることでエージェントが色々な状態を経験して、エキスパート軌道にない状態での最適行動を学習します。Learning(MaxEntIRL)は、逆強化学習の基礎となるアルゴリズムです。報酬を1つ決めると以下の目的関数を最大化するように最適方策が1つに定まる、と仮定します。ロールアウトして得られる軌道の分布を表しますこの目的関数の第二項は1つの報酬に対して最適方策が複数あるという曖昧性を除去することを狙ったものです。(下図)エントロピーを最大化することは、最適方策から最適軌道を生成する以外の情報をなるべく除去することを意味しています。このことで、最適方策が最適な軌道を100%生成して他の軌道を全く生成しないという不自然な分布になることを防げます。エキスパート軌道がsub-optimalでもロバストな報酬推定を行えるようになります。MaxEntIRLの意図。エントロピーの大きい方策を選ぶことで最適軌道を説明する方策を一意に定める。求めたいので、(5)結果として(4)式で表される軌道分布における手元にあるエキスパート軌道の尤度を最大化する問題に切り替わることになります。この手法では尤度を最大化する際に勾配降下法で報酬を変更するたびに変更後の報酬における最適方策を求める必要があります。そのため、勾配降下法のステップ数分だけ強化学習や動的計画法を回すため非常に効率の悪い方法になっています。そこで、考案されたのが次に紹介する報酬と方策を交互に学習する手法になります。(GAIL)この研究ではGANsをImitationに用いて(6)式を最適化する手法を提案しています。Optimization(TRPO)を用いて方策を学習します。取るエージェントがエキスパートである確率を出力するDiscriminatorであり、Discriminatorが学習が終了すると暗示的にDiscriminatorの表現の内部に報酬を復元していることになります。このようにGAILはGANsの要領で方策と報酬を交互学習して模倣学習を達成する手法です。Cloningで生じたロバスト性の問題を解決できます。以上、強化学習における報酬の機能とその機能が果たされないときに生じる問題、その解決策になりうるカリキュラム生成と模倣学習について整理しました。次に、ICLR2018で発表された論文を具体的に紹介したいと思います。al.]を紹介します。al.]この論文は強化学習におけるカリキュラム生成に関する論文です。カリキュラム生成に関する研究の中でも、特に、中間ゴールを水増して、方策学習の促進を解決しようとする研究です。具体的には、どうやって環境中の状態を遷移していけばいいのかを教師無し学習の形で事前学習することで、タスクが与えられた際に早く学習できることを目指しています。Motivation)と呼ばれています。従来研究では新しい状態をエージェントが経験すると内部報酬を得る手法が多く提案されていました。経験した状態であってもエージェントが苦手な状態であれば、そこに到達したことに対して報酬を貰える方が方策の成長に役立ちます。逆に、新しい状態であってもエージェントが簡単に到達できるのであれば、そこを経験しても対して方策の成長に役立ちません。この論文では、エージェントになるべく苦手な状態に到達させるカリキュラムを生成して、方策を成長させることを目指しています。脳内に2つの似通ったエージェントであるAliceとBobを用意して、Self-Playという報酬なしで環境中をエージェントがウロウロする設定においてBobが解けそうで解けなさそうなサブゴールをAliceが生成してそれをBobが解いていくことでBobの方策を成長させるコンセプトになっています。actionが出たところまで行くという方式で環境中をウロウロします。それぞれAliceがサブゴールを作るまでにかかった時間とBobがサブゴールから戻るのに/まで行くのにかかった時間を表します。baseという離散状態行動空間にて高い性能を出しています。Self-Play中のエピソードを横軸に入れていないのでUnfairな比較になっている印象です。その他にも連続状態行動空間での実験も行っていました。この論文は脳内エージェントが競い合いながら強くなるというアイデアがユニークで示唆的だなと感じました。ターゲットタスクに必要な方策の能力以上に方策が成長して、ターゲットタスクをオーバーキルする可能性があり、Self-Play中に必要以上な試行錯誤をする可能性が高いとも感じました。いえ、ターゲットタスクがどう指定されるかわからない問題設定では、ある環境にエージェントを投入すると探索を事前に済ませてくれるため有用ではないかと思います。この手法により方策の学習は容易になりますが、追加的な内部報酬を得るため、設計者が本当にしてほしい挙動と学習後の方策が生成する挙動に齟齬が生じる可能性があります。カリキュラム生成の章で説明した、初期状態を変えるカリキュラム生成やゴール状態を明示的に扱うカリキュラム生成とはこの点が異なります。al.]背景MaxEntIRLやその発展形であるGAILはエキスパート軌道を生成させる方策が複数あるという最適方策の曖昧性を解決しようというものでした。最適方策を生成させる報酬も複数あるという最適報酬の曖昧性の問題は残ったままでした。1999]として知られています。最適方策を学習した時に得られる最適方策が一致する性質を指します。定数項を除いて一致することからわかります。GAILではDiscriminatorは学習の仕組みは下記のようになっています。エージェントが報酬を学習します。その学習した報酬における最適方策が得られます。その最適方策によって得られる軌道分布が得られます。その軌道分布がエキスパートの軌道分布と一致するようにDiscriminatorを学習してします。ここで学習したDiscriminatorの内部には暗示的に報酬が獲得されています。Shapingで生成される無数の報酬のうちどれに当たるのかが分からない問題があります。これは同じエージェントが同じ環境において模倣学習をする場合には問題になりません。同じ環境下で有効な最適方策が得られれば十分だからです。身体パラメタの異なるエージェントや異なる環境に対しても、獲得した報酬を転移・転用させたい場合には問題が生じます。そのような転移学習の問題設定においては報酬関数を状態sにのみ依存する形で獲得する必要があります。報酬関数が行動にも依存する形で定義されると状態遷移確率の情報も報酬関数に入り込む必要があり、転移先の環境での状態遷移確率を得るのは容易ではないからです。よってsのみに依存する関数を明示的に扱ったDiscriminator設計して、その関数に報酬を学習させていくことが有効であり、その手法をこの論文では採っています。2016])で報告されています。純粋なその状態sの即時報酬が獲得されていきます。以下のようにアドバンテージ関数と解釈できます。以下が詳細なアルゴリズムになります。al.]エージェントの身体や環境が異なるタスクにおいて報酬を再利用する手順は以下のようになります。おいて状態sにのみよる報酬を復元できるか実験していました。状態遷移行列の情報を含んだアドバンテージ関数が獲得されているのが分かります。用いたときのみ成功しているのが分かります。報酬転移のタスクとしては、下の図のような2つの連続状態行動空間におけるタスクを用意していました。右は青色のエージェントが緑色のゴールに行く迷路タスク(Poinmass-Maze)。迷路形状が変わる(Ant-Disabled)。左はアリ型のロボットを速く走らせるタスク。al.]下表のように既存手法(GAN-GCL)より高い性能を出していました。ICLR2018参加報告の第3回にあたる本記事では、前半でカリキュラム生成と模倣学習についてを整理し、後半でICLR2018で発表されていた強化学習に関する2本の論文を紹介しました。大学院にて、強化学習のうち模倣学習を中心に研究を行う。DeepXでは、研究領域の強化学習技術の産業応用を目指し、特に、機械自動化に向けた模倣学習の活用法の開発を行う。