GA将?開発日記~王理のその先へ~スマートフォン用の表示で見るGA将?開発日記~王理のその先へ~ネタ勢最強を目指して絶賛開発中。基本に戻って三目並べモードで色々実験中。PGQとNoisyNet*1風のノイズ加算は何か不安定になる。ベースはREINFORCEのままで、これにNoisyNet風の処理を付け加えた方が良いらしい。開発日記GA将?の学習ルーチンは、ミニバッチサイズ(1回のパラメータ更新に使用する、自己対局の棋譜の数)を大きくすると、学習が安定する傾向があります。5960X)では、マシンパワーの関係上ミニバッチサイズは500~1000程度が限界です。上記サイトを参考に、ログファイルの更新を監視してグラフ作成&Webサイトにアップロードする様にしてみました。(更新ごとだと10秒に1回とかになっちゃうんで、前回処理から一定時間以上は待つ作りになっています。アイデアメモが、もうちょっとで定式化出来そうな気がする。自己対局を通じた、コンピュータ将棋/コンピュータ5五将棋の評価関数の強化学習において、より良い報酬を設計したい。Q-learning」を読んで、実装する為に最低限必要な知識をまとめてみた。ゲームで、自己対局の結果からPGQ(論文の提案アルゴリズム)を用いて評価関数パラメータの学習を行う事を目的とします。報酬は「勝ち:+1、引き分け:0、負け:-1」と設定し、終局後に報酬を与えるものとします。Q-learning」を読んで、実装する為に最低限必要な知識をまとめてみた。Machineを使用した疑似四駒関係は結局上手く行きませんでした。いう訳で、PPT+αで何とか強くしようと色々いじってます。いう訳で、お手軽に出来る二駒関係+全幅2手での学習を開始。昨夜から18時間ほど学習させたパラメータでsspと連続対局中ですが、現時点で53勝16敗、勝率76.8%。前回学習時の最終的な勝率と並びそうな感じです。今朝からsspとスパーリングしてたバージョンのパラメータですが、昨夜のやつより誤差程度弱くなっています。頭打ちと決まった訳では無いので、もうちょっと学習継続させてみます。現在ssp相手に32勝23敗。頭打ちかと思っていましたが、まだ伸びるかもしれません。いう訳で、当面は現在の学習を継続する予定。学習経過24時間ほど走らせたパラメータで149勝161敗、勝率48.1%。去年の選手権バージョンよりは強くなってます。頭打ち感があるので、早々に三駒関係有効にして学習出来る様にしようと思います。いた、合議での票の割れ具合に応じた思考時間制御の問題点ですが、解決策が見つかったのでメモ。書くより擬似コードの方が分かりやすいかと思うので、まずそれから。