Blog『強化学習アルゴリズム入門』第1章〜第2章の学習メモ2020-01-30書籍『強化学習アルゴリズム入門』について第1章〜第2章を読んでの学習メモをまとめる。強化学習は一連の行動によって得られる報酬を最大化する行動基準を学習する。そのために、「一連の行動」を状態の遷移と捉えて、その状態に対する価値(状態価値)を求める。各状態には取りうる複数の行動があると考え、その状態の価値を、これらの行動ごとの価値(行動状態価値)から求める。強化学習アルゴリズムごとの価値関数はじめに、第1章〜第2章までで学ぶ各強化学習アルゴリズムの状態価値関数と行動状態価値関数をまとめておく。ベルマン方程式\eqref{1}に従い行動状態価値を更新する手法。S_t)$は行動確率であり、方策$\pi$に従い状態$S$において行動$a$を選択する確率を示す。\eqref{2}は状態$S$において行動$a$によって遷移する状態$S$で得られる報酬$r$とその状態の価値$V$の和によって求められる。ここで$\gamma$は価値の割引率である。平均$\bar{X}$)の逐次的な計算」との類似性によって説明している。\]動的計画法における学習プロセスは以下のようになる。全ての状態で状態価値の更新が終わったら次の学習イテレーションへ価値反復法$\epsilon$-Greedyの探索率$\epsilon=0$の場合は方策に依存しない価値反復法となる。動的計画法は環境情報が既知の場合に使えるが未知の場合、環境も含めて手探りで行動基準を学習しなければならない。そのような場合はモンテカルロ法を利用する。モンテカルロ法の価値の学習には総報酬$G$\eqref{7}を用いる。総報酬は一連の行動が終わり得た報酬$r$から遡って状態(と行動)に対して価値を算出する。書籍ではこの価値の求め方も「将来に対する平均」で表現している(tの値をt+1から求める)。行動状態価値は\eqref{5}により試行数$m$での平均とする(学習ステップにおいて\eqref{3}\eqref{4}\eqref{6}は使わない)。モンテカルロ法における学習プロセスは以下のようになる。報酬を得たら行動を遡り各状態(と行動)の総報酬Gを求め、試行回数での平均によって行動状態価値Qを更新するTD(0)法モンテカルロ法は総報酬$G$を求めるために必ず一連の行動を終える必要がある。そこで、逐次的に行動状態価値を求めることでモンテカルロの探索行為を効率的に行おうとするTD(0)法がある。TD(0)法では、行動状態価値$Q$を\eqref{8}によって求める。これは、モンテカルロ法の行動状態価値関数\eqref{5}を逐次計算表現にした\eqref{6}の$G(S_t,a_t)$を動的計画法の行動状態価値関数\eqref{2}で置き換えたものと考えることができる。総報酬$G$を$t+1$の報酬と状態価値で近似するものである。TD(0)法における学習プロセスは以下のようになる。(価値反復法)$Q(S_{t+1},a_{t+1})$を$max\{Q(S_{t+1},a_{t+1})\}$で求めることで方策に非依存とする。最近はもっぱらGoに夢中です。普段は研究開発をやっています。©keita_kawamoto。