learning)とは、ある環境内におけるエージェントが、現在の状態を観測し、取るべき行動を決定する問題を扱う機械学習の一種。エージェントは行動を選択することで環境から報酬を得る。強化学習は一連の行動を通じて報酬が最も多く得られるような方策(policy)を学習する。環境はマルコフ決定過程として定式化される。代表的な手法としてTD学習やQ学習が知られている。強化学習は以下の条件の中、学習していく。環境は状態を持ち、それは完全に正確に観測可能。エージェントが行動を行うと、環境が確率的に状態遷移し、環境から確率的に報酬が得られる。その遷移確率と報酬が得られる確率は事前には与えられず、学習過程で学習していく。報酬の指数移動平均を最大化するように行動する。基本的なモデルでは、環境の状態や行動は離散であるが、連続とするモデルもある。programming)は環境のダイナミクス(状態遷移確率および報酬)が既知の場合に使える手法。methods)とは行動によって得られた報酬経験だけを頼りに状態価値関数や行動価値関数を推定する方法のことを指す[2]。得られる報酬の合計を予測しそれを基に状態の価値と次に行う行動を決定する。行う行動である)とき、モンテカルロ法は以下の式で値を更新する。シミュレーションによって得られる報酬の総和を未来に得られる分、割り引いたものであり、以下の式で表される。更新するという行動を繰り返して最適な状態価値関数および行動価値関数を学習する。learning)は報酬経験だけを頼りにエピソードの終了まで待たずに状態価値関数や行動価値関数を更新する手法。[3]SARSA編集SARSA(state–action–reward–state–action)は方策オン型のTD学習。詳細は「Q学習」を参照Q学習(Q-learning)は方策オフ型のTD学習。_{p}Q(s_{t+1},p)-Q(s_{t},a_{t})\right]}神経科学編集ヒトを含む高等生物は強化学習を行っていると思われる。神経科学においては、Schultzらが、黒質緻密部のドーパミン作動性ニューロンから電気記録をとり、その位相性の発火が報酬予測誤差信号をコードしていることを示唆して以来、哺乳類の脳において大脳基底核はドーパミンを介した強化学習を行う神経回路であるという仮説が有力視されている。3.0のもとで利用可能です。プライバシーデスクトップ。