d_p(\mu_n,\mu)\lt\epsilon\)が成り立つ。1\(\mathcal{T}^\piは\mathscr{P}_p\)において縮小写像(すなわち\(\mathscr{P}_p^{\mathcal{X}×A}\)上の作用素\(\mathcal{T}^\pi_{\mathcal{X}×A}\)も同様。d_p(\mu,\eta)\)について補完する。\Lambda\)が成立する。\Lambda\)に対して、\(d_p(\mu,\eta)\leq(\int_{\mathbb{R}2}|x-y|^p\lambda(x,y))^{-p}\)が成り立つ。d_p)\)での縮小性が言える。最後に、\(\eta_\pi\)が\(\mathcal{T}^\pi\)に対する不動点であることを示せば、バナッハの不動点定理による収束が言える。\]ただし、\(x_{t+1}\)は\(x_t,a_t\)から分布が定まる確率変数で、\(a_{t+1}\)は\(x_{t+1,\pi}\)から分布が定まる確率変数である。このマルコフ性\(^{\ast2}\)が不動性の証明において重要である。\mathcal{P}^K_C\)を次のように定義する。的簡略化により、計算量を削減する。距離に対して縮小写像ではない。距離に対しては縮小であるため、\(^{\ast3}\)それを利用する。l_2(\eta,\eta_\pi)\)を置く。\hat{\mathcal{T}}^{\pi}\)に対しても縮小さらに、更新幅\(\alpha_t(x,a)\)を確率1で次の条件を満たすよう定義する。a\]これはロビンスモンローの条件と言われる。1/t\)とすると、これは条件を満たす。この時、次のように測度\(\eta_t\)に対応する確率変数\(P_t\)を更新する。\(\Pi_CP\)は、確率変数\(P\)に対応する確率測度\(\eta\)を用いて、\(\Pi_C\eta\)と書ける測度に対応する確率変数を表す。\(^{\ast4}\))元の論文ではここは\(P_t\)ではなく\(\eta_t\)だが、確率測度同士の足し算は一般には成立しない。対応する確率変数同士の足算は成立するため、ここではそれによって表記することにする。\end{equation}上の更新式は次のようなこのアルゴリズムは次のような数式で導出されている。\end{equation}第二項は通常の更新項。これだけだと計算量が多く汎化も怪しい。そこで第三項のノイズ項が加わる。ベルマン作用素の定義より明らかにここは不偏性を持つ。することで、汎化性能を上げつつ、計算量を劇的に減らすことができる。距離の下で到達可能であると論文には記されている(定理2)。証明はともかく、この条件そのものがill-defineではないか?という疑念が浮上し、その真偽がまだ不明であるため、この記事では詳細は解説しない。弊社は、このアルゴリズムのダイナミックプライシングへの応用を行うと共に、理論・アルゴリズム両面から、この論文からさらに発展させる研究を行う予定である。距離での証明やり直しなど、我々が証明した定理のうちいくつかは、残念ながらこの記事に書くことができなかったが、論文を出すにあたっては解説記事としてその定理の数々を別記事に記載する予定である。Appendix最後に、\(\eta_C\)での近似誤差に関する定理を紹介する。\(\eta_\pi\)が\([z_1,z,_K]\)に台を持つ場合。