期待値の高い行動を選択する手法です。強化学習などではsoftmax行動選択手法と同様によく使われます。下の図のような問題を用いて説明しようと思います。プレーヤーには、3つの選択肢があります。ここでは選択肢をA,B,Cとします。数字は各選択肢を選択した時に得られる利益の期待値です。ε-greedy行動選択を用いて行動を選択すると次のように行動を選択します。εの確率でεの確率でランダムで行動を選択します。これは、探索(Exploration)という動作になります。探索なので、現在の知識を増やす、もしくは各選択肢の期待値を更新するために行う操作です。ε)の確率で、期待値の最も高い行動選択をします。これは、知識利用(exploitation)という動作になります。現在の知識で最も合理的な行動を選択するということです。εについてこの値を正しく設定、もしくは調整する必要があります。高すぎると行動がランダムに近い行動になり、獲得できる利益が不安定になるためです。ε-greedy行動選択のサンプルコードです。ε-greedy行動選択で1000回行動選択をしました。ε=0.1の時の結果を以下に示します。εが小さいので最大行動価値の選択肢をひたすら選択していることがわかります。ε=0.4の時の結果を以下に示します。Cを選択する回数が上昇していることがわかります。今回は強化学習の基本的な用語であるgreedy選択(方策)について紹介しようと思います。方策勾配法の基礎なる定理である方策勾配定理について紹介します。ステップサイズパラメータ今回は学習率について、お話します。強化学習では学習率をステップサイズパラメータとも言います。ClimbingQ学習のQ値を用いて、方策を山登り的に更新していく手法です。Learning)についてお話します。今回はベルマン方程式について紹介します。コメントをキャンセルメールアドレスが公開されることはありません。*サイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。ぬ吉.comアラサーのWebエンジニア見習いのたぬ吉.com(@tnkicom)です。過去には大学院、某IT企業で機械学習関連のプロジェクトに携わっていました。趣味は機械学習、アプリ開発、FX等の投資です。FXは最近はじめました。自動取引を目指して日々邁進中です。間違いがあれば、Twitterかコメントで教えていただければと思います。質問があれば、Twitterで連絡いただければと思います。進化計算ゲーム理論IT技術系まとめホーム検索トップサイドバーたぬ吉.comアラサーのWebエンジニア見習いのたぬ吉.com(@tnkicom)です。過去には大学院、某IT企業で機械学習関連のプロジェクトに携わっていました。趣味は機械学習、アプリ開発、FX等の投資です。FXは最近はじめました。自動取引を目指して日々邁進中です。間違いがあれば、Twitterかコメントで教えていただければと思います。質問があれば、Twitterで連絡いただければと思います。(1)メタ情報ログイン投稿フィードコメントフィードWordPress.orgタイトルとURLをコピーしました。