その4-0ようやく手を動かせそうなところに来た。policy)と呼ばれる方策とは関連付けられていない。policy)と呼ばれる方策とは関連付けられていない。Learningここで言いたかったのは、行動からマッピングする関数を学習する方策オン型とは異なり、Q-Learningは状態から価値を学習し、行動を取るということだったのだろう...アタリのゲームもQ-Learningですよと。gymのFrozenLakeを解く。equationでテーブルをアップデートする。これは、長期的な状態の価値と、直近の価値に次に最善の行動をとったときの価値を加えたものが等しいとしている。4となるので、observation_spaceは状態の数、action_spaceは行動の数を返すんでしょう、おそらく。np.zeros([16,4])となるので、16x4の二次元行列を作成しています。:繰り返しのカウント(なぜ繰り返しは99回なのかはわからない...)行動(a)の決定。Qテーブル内からノイズを含めた(グリーディな)選択を行う。env.action_space.n)*(1./(i+1)))これだと、エピソードのカウントが増える度にノイズ部分が小さくなるようにしている(1./(i+1))のは、徐々にグリーディでなくならせようとしているのか...な...?ここで再度エピソードとステップをしっかり把握!一番上のパネルがインフォメーションパネルです。スライムがスタートからゴールへたどり着くまでが1エピソード(Episode)です。エピソードを何回も繰り返すことによって学習が進みます。ステップ(Step)は1エピソード内でスライムが何ステップ(歩)で迷路を抜けられるかを表しています。env.step(a)step関数がめちゃ便利。step関数はactionを入れることで、以下の4つを返す。Q[s,a])ここで、Q関数のアップデートをする。s1rAllで全部報酬を足して、sを次にアップデートをする。str(sum(rList)/num_episodes)最終的に、全報酬を全エピソード数で割る。コメントをキャンセルメールアドレスが公開されることはありません。