これによってQ学習やSARSAで使われる作用素を復元できます。この話題に関しては、似たようなアイディアの研究が同時期にたくさん出ていて、正直貢献の細かい違いをきちんと把握できていないです。[5]はICML'17での発表ではありませんが、いくつかの発表内で言及がありました。Revengeのように報酬がスパースな問題はいくつかのサブタスクのようなものに分割しないと解くのが難しいですが、この分割を自動で学習しようという研究がいくつかありました。強化学習の文脈では、より階層が上の方策(のようなもの)をオプションと呼ぶことがあります。基本的には報酬に依存しない情報だけから何らかの形で(当然ヒトの事前知識も使わず)中間的なサブゴールを獲得しにかかるアプローチになります。Revengeのような問題ではどうようにどう空間を系統立てて探索するかが重要になります。ある探索のアプローチは「不確かなときは楽観的に」の原則に従うものですが、極めて報酬がスパースで状態空間が膨大な問題設定では実用性に乏しいです。アプローチとしては、(疑似)カウント系のアプローチと、予測の確信度を使う系統のアプローチがあるそうです(ただどちらもある状態がどの程度起こりそうだと予測しているかを推定する形になり本質的には近いような気もします)。[1]では報酬を使わずにマリオのプレイができてしまうというのは中々インパクトがあります。learning)これはテーマというよりは、ニューラル全盛の時代である今、モジュール全体を繋げて微分可能に設計するのは一つの基本戦略と言っても良いのかもしれません。言うまでもなくこうして全てのモジュールを全部一貫して微分可能にして誤差逆伝搬法で全体を最適化する手法はいくつか散見されました。RLはナイーブに考えると比較的途中で切断されやすい気もするので一層重要なのかもしれません。Learning学習時と異なる環境への汎化(transfer/zero-shot)シミュレータで学習して実機を動かしたいときなど、(似てはいるが)異なるMDPへの汎化を獲得しなければいけない状況はままあるので、こうした場合について、学習時に適切な外乱を加えて正則化をかけたり[1]、異なるMDPへの汎化を学習するモジュールをend-to-endに組み込んで一緒に学習するといったアプローチがありました[2,3]。Learning実用的な探索(安全・公平)現実社会に強化学習アルゴリズムをデプロイする場合には、学習中の挙動に制限を書けたい場合があります。白人ばかり不公平に優先するのはやめて欲しい)といった場合が考えられます。した意味で探索に何らかの形で制約をかけたりするアルゴリズムがいくつかありました。Optimizationヒトによる教示ヒトによる教示を学習に使いやすいようにしているような研究がいくつかありました。(階層的なゴール設定が必要な場合など)学習が難しい環境では無駄にアルゴリズムの設計を頑張るよりヒトと協調して動くアルゴリズムを考えたほうが実用的かもしれません。Learning方策オフ型学習でのバイアス・バリアンスこれは別に昔からある話題ですが、今回もこういう系の話題でセッション一つ分くらいはありました。方策オフ型での学習では勾配や価値関数の推定でバイアスが生じます。行われる場合が多いですが、(強化学習の場合はとくに)分散が大きくなってしまい学習が安定しません。推定量を使った研究などがいくつかありましたが、今年もこうした研究は盛んに続いている印象です。Control"は非常に良かったので興味がある方は是非リンクからスライド眺めてみると良いのではないかと思います。前半の基本的なところは方策勾配系と連続行動空間にとくに詳しくて分かりやすく、後半の発展的な話はソフト最適の話や、逆強化学習はGANとの関係にも触れています。最後の方のモデルベースは正直知らない話題が多かったですが勉強になりました。内容については上で既に触れましたが、個人的にソフト最適の話は好きです。カテゴリカルDQN通常のベルマン方程式は期待値だけ考えるが、マルチモーダルなときなどを考えると良くないので分布で考えたいということで、DQNのアーキテクチャに組み込める形でQ関数の分布を推定できる手法を提案しました。連続行動空間の確率的方策では昔からガウス方策がよく使われます。現実には物理的に取りうる値にしきい値があり、これによってバイアスがでる場合があります。これをベータ分布を使ってこれを解決します。いうものを利用してオプションを見つけるという研究が面白かったです。SVDする感じになるっぽいです。Revengeで実験もして獲得されたオプションが重要なオブジェクトに対応していることを確認しています。モデルベースの深層強化学習はドメインによってはかなり困難なタスクのように見えますが、実現すればまた一つブレイクスルーになる可能性がある分野だと思うので今後の発展が楽しみです。Predictron)また論文の見せ方も強化学習は派手なものが多く、ビデオがついてるものはやはり見栄えがいいなと感じました。GitHubの4点セットを付けないと中々注目を集めにくくなっているのかもしれません。―基礎理論とアルゴリズム―」が共立出版から2017年9月末に発売になりました。コンパクトな本ですが強化学習の理論を体系的に学ぶことができます。深層強化学習に関する節も訳者補遺としてございますので是非お手にとっていただければと思います。共立出版GoogleのAlphaGoによるプロ棋士打破は,人工知能がヒトを超えた学習を行った歴史的出来事として認識された。強化学習はここで重要な役割を果たしてているだけでなく,自動運転やロボット制御などの重要な分野への応用も知られ,いま世間の強い関心を集めている。(1998)とその訳書も出版から20年が経とうとしている。本書はトップ会議のチュートリアルで利用されたり,2010年の出版以降わずか数年で500弱の引用がされたりという事実からも窺えるように,入門書として広く読まれている良書である。本書の内容は動的計画法などの基本的かつ重要なアルゴリズムに始まり,比較的新しい手法も体系的に網羅しつつもコンパクトに自己完結している。原著の出版から7年あまり経つが,近年の発展は本書で掲載されたアルゴリズム・アイデアをその基礎においている。本書では,深層学習を利用した深層強化学習を含む最近の発展に,本書で紹介されたアルゴリズムがどのように使われているかを解説した訳者補遺を追加することで,本書と最先端の研究との橋渡しをしている。exampleについてはてなブログをはじめよう!sotetsukさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。