index調べものをしましたが、日本語サイトの中でこちらが一番、わかりやすく参考にさせていただきましたベルマン方程式というものがある。選択肢を選んだときに、どのくらいの利益が生じるかは確率的に決まる(ある時は利益が出るし、あるときは出ない、とか)ので、常に、どの選択肢を選んだものか...と悩ましい状態に置かれるが、それに関する式だということこの論文では、複数の選択肢があって、選ぶたびに利益は0か1かになるような単純な選択課題であるが、そこに出てくる式(3.1)を理解したい式は以下のような形をしている各選択肢について、0回以上の試行結果の成否情報がある。成否の回数からなる長さ2の整数ベクトル。iは第i番目の選択肢。tは、これまでの全部でt試行がなされていることを意味する(複数の選択肢があるので、それぞれが実行された回数の総和になる)。成否情報があったときに、最適選択をするとすると、その先で得られる利益の総和(の期待値)が。)にあって、最善選択肢が第k番だとなっている、とする。利益となることはわかる。この追加利益は未知であるから、tの時点でのその推定値を使うことになる。このt+1以降で考慮するべきなのは、tにて第k番選択肢を選んで、成功する確率qと失敗する確率(1-q)とがあって、それぞれの場合について、起きる確率の重みを考慮して加える必要があるまた、このqについては、ベータ分布にて成功確率を推定するとすれば、さて、こんな風なVに関する確率コミの漸化式ができたので、これを用いて、推定することを考える全体で最適選択をしたら、どんな総利益が出るかを一発で出すことはできないけれど、漸化式をちまちま解いていくと最終的には答えがでるね、このように全体の答えを解くのに、ちまちまと部分部分で考えるのが動的計画法(こちら)ちなみにdは、繰り返して実行するにしても、そのうち止めるという現実的な条件を入れるためのたで、継続する確率をdとしている。Weberアルゴリズム(ベタなアルゴリズム)のMatlabコードがある。それのベタアルゴリズムの方のR化したもの(バグが潜んでいる可能性あり)。一応、答え合わせは合っている感じ...ぐるぐるとループが3重に回っているので遅いです0-1の値についてグリッド探索すると得られることが知られているらしい。ペイパーのAppendixの書いてあるのだが...、以下のソースがそれを実装しているのかどうか、ちょっと心もとないが、結果があっているのでよしとする成功率は不明であるが、それがわかりさえすれば、繰り返して実施したときの総報酬期待値はその成功率に関して、1/(1-d)倍したものになるなので、その成功率をグリッドで定め多ものに基づく総報酬期待値について、小さい方から、試してみる。