序章あまり同時に色々な本を読まない方がいいと思うのですが、時間が会った時に手元にあったので少し読み進めてしまいました...今回のテキストはこちらです。数値化された報酬信号を最大にするために、何をすべきか(どのようにして状況に基づく動作洗濯を行うか)を学習する。問題を定式化すると、以下の3つの特徴にまとめることができる感覚(sensation)行動(action)ゴール注意としては、強化学習と教師あり学習は異なることであるということを理解しておかなくてはいけません。learning)は知識を持った外部の教師が提供する、例からの学習である。強化学習にはあって他の学習にはない挑戦的なテーマの1つは探査(exploration)と知識利用(exploitation)の間のトレードオフをいかに扱うかである。強化学習には以下のような応用方法がある。function):状態の価値(value)とは、エージェントがその状態を基点として将来にわたって蓄積することを期待する報酬の総量である(最終的に何がいいか)環境のモデル(model):環境の挙動を模倣する何か拡張された例:三目並べミニマックス三目並べの例では、ミニマックス(従来のゲーム理論で使われる)を使うのは正しくない。最適解を計算するため、完全な情報が必要となる。この問題に関してなしうる最良の策は、第一に、ある程度確信を得られるまで敵の挙動のモデルを学習し、敵の近似モデルが得られたものとして最適解を得るために動的計画法を適用することである。三目並べのアプローチ三目並べのケースでは、方策はゲームの各状態となる。ゲームの状態の各々に対して1個ずつ対応する数のテーブルを設定し、各数字はその状態から勝ちに結びつく確率の最新の推定量である。この推定量を当該状態の価値として扱い、学習された価値観数の全体をテーブルに表現する勝った状態を1、負けか引き分けを0、初期値を0.5とする。moves)と呼ばれる勝率が高い状態にならないかもしれないランダムな手を選ばせる手法を使う。固定し、敵に対して数多くのゲームを行う。敵に関するモデルを用いてゲームのシミュレーションを何度も行う。方策の変更は多くのゲームを行ってからのみ。各ゲームの最終結果のみ使われる。環境との相互作用を行っている間の学習が重要視される。目標は明確であり、正確な挙動を示すには、選択の効果に遅延があることを考慮に入れるようなプランニングあるいは見通しが必要。まとめ強化学習は目標指向型の学習と意思決定を理解するための計算的アプローチである。価値と価値関数はこの本で扱う強化学習法の中心的な特徴である。我々は価値関数が方策の空間を効率的に探索するための不可欠であるという立場である。現在の強化学習は以下の3つの大きな流れによって形成された。コメントをキャンセルメールアドレスが公開されることはありません。