報酬はゴールまでの距離にマイナス付けたもの。al.]また、転移学習も行っており、メタラーニングを用いて訓練タスクで知識を獲得したのちに下図のようなターゲットタスクに適用させます。このタスクは右上の緑の箇所に着いた時にのみ報酬を得られる疎な報酬の問題設定で事前知識なしの純粋な強化学習手法を用いると解くことが困難なタスクになっています。ターゲットタスクには、マリオカートのワンワンのような障害物がエージェントを後ろに吹き飛ばす敵が自作されていて遊び心を感じました。緑のゴールに着いた時のみ報酬が得られる。方策全体の概略図は下図のようになります。いう2種類のパラメータによって表現される方策があります。:下位方策のパラメータ。下位方策は、訓練タスクで事前学習して、テストタスクを解くときには固定する運動スキルを表す。:上位方策のパラメータ。上位方策は、タスクごとに学習する。タスクを解くときにどの下位方策を使うのかをNステップに1回決定する。この構成にするメリットは以下の2つです。タスクに共通のパラメータとタスクに応じて適応させるパラメータを分けておくことで、事前に学習した知識を用いて、サンプル効率を上げつつも新タスクにうまく適応できる。ターゲットタスクに適応させる際にNステップに1回意思決定する上位方策にとってはエピソードの長さが1/Nになるため、速く適応できる。al.]学習方法は以下の2つを交互に繰り返すことで行われます。period:運動スキルを固定して上位方策を学習する。period:上位方策と下位方策を同時学習する。上位と下位のどちらの方策もオンポリシー手法の1つであるPPOを用いて更新されます。左下図は上位方策について、右下図は下位方策について、いずれも更新をする際に用いる情報を青く塗って示しています。上位方策(左図):時系列をNステップ間隔で扱っており、状態はその間隔の各時点のもの、報酬はその間隔の間で得られる累積報酬として、学習させます。下位方策(右図):下位方策は上位方策の出力に応じて環境に適用されるため、上位方策を環境の一部とみなして学習します。上位方策の学習(左)と下位方策の学習(右)。結果として上述した様々な迷路を解かせると、下図のような下・左・上の三方向に動く下位方策を獲得できていました。al.]また、得られた下位方策を使うことで、疎な報酬系であるターゲットタスクにおいてもうまく学習していました。この理由は階層化されていない単一の方策で解くと各関節のトルク値という連続行動空間を3000ステップ探索しないといけない問題を、10ステップに1回上位方策が下位方策選ぶという離散行動空間を、300ステップ探索すればよい問題に変換できたからです。ICLR2018参加報告の第2回にあたる本記事では、前半で転移学習とメタラーニングを整理し、後半でICLR2018で発表されていた強化学習に関する2本の論文を紹介しました。大学院にて、強化学習のうち模倣学習を中心に研究を行う。DeepXでは、研究領域の強化学習技術の産業応用を目指し、特に、機械自動化に向けた模倣学習の活用法の開発を行う。