法を用いる強化学習の理論的解析を行っている。本記事は、この論文の内容をまとめるとともに、確率論的に正しく厳密な表記に改良し、不足している証明の一部を補完したものである。本記事内にて、付け加えた定理は「補完定理」と呼ぶ。上の確率測度全体の集合。\(B\)が無限集合の場合はボレル確率測度全体の集合\(\pi:\)方策関数。:(0,1)\)に含まれる実数で、報酬の割引率。:\)現在の状態が\(x\)で、行動\(a\)をとった場合の、方策\(\pi\)による報酬の合計の確率分布を表す確率測度。:\)方策\(\pi\)に対するベルマン作用素。\]確率変数\(X_t,A_t,r_t\)を用いて次のようにも表現できる。\)とは、状態\(x\)に対して行動\(a\)をとった場合の報酬の確率変数で、\(P^{x,a,\pi}_t\)は\(R^{x,a,\pi}_t\)を近似する確率変数である。\(P_t\)をできる限り\(R_t\)に近づけることが、この論文及び記事の課題となる。\(\mathcal{T}:\)制御型ベルマン作用素。\]確率変数を用いて次のようにも表現できる。\mathbb{R})\)上のCramer距離。濃度は\(|X|×|A|。)^{\mathcal{X}×A}\)と書く。)^{\mathcal{X}×A}\)の元\(\mu^{^{\mathcal{X}×A}},\nu^{^{\mathcal{X}×A}}\)同士の距離。\)上の\(K\)個の点。上の点に集中するディラック測度の線形和で表される確率測度の集合。\(\Pi_C:\mathcal{P}\rightarrow\mathcal{P}^K_C\)の射影作用素。T}^{\pi}:\)実践した部分だけ値を更新するベルマン作用素。方策に寄らない場合も同様。\(\alpha_t(x,a):\eta\)の更新幅。ロビンスモンローの条件を確率1で満たす。\)上の確率測度である。processといい、定義から明らかにわかる通りマルコフ性を持つ。推定困難ではあるが、裏で確実にこの強化学習問題を支配している確率測度である。termとの兼ね合いで実際には推定する必要がなくなる。\infty\)が成り立つとする。\)論文に記載はないが、この仮定は論文に書かれていない必須の条件である\(\mathcal{T}^\pi\eta\in\mathscr{P}_p(\mathbb{R})\)を言うにあたって、非常に自然かつ簡易な仮定である。\infty\)という根本的な仮定から、この必須条件は自明である。_t\)はこの仮定を満たすことが容易にわかる。距離が定義でき、\((\mathscr{P}_p(\mathbb{R}),d_p)\)も完備可分であることが言える。\epsilon\)となる。^{x,a}_n,\mu^{x,a}_m)\lt\epsilon_p\)が成り立つ。\epsilon_k\)が成り立つ。ここで、\(\mathcal{X},\mathcal{A}\)が有限集合であるため、\(N^k_{x,a}\)は\(x,a\)に対する最大値が必ず存在しその値を\(N_{max}\)と書く。\epsilon_k\)が成り立つ。よって任意のコーシー列になかでの収束先があることが示せたので、完備性が成り立つ。d_p)\)可分であることを示す。