GA将?開発日記~王理のその先へ~スマートフォン用の表示で見るGA将?開発日記~王理のその先へ~ネタ勢最強を目指して絶賛開発中。Machineを使用した疑似四駒関係は結局上手く行きませんでした。いう訳で、PPT+αで何とか強くしようと色々いじってます。昨夜から18時間ほど学習させたパラメータでsspと連続対局中ですが、現時点で53勝16敗、勝率76.8%。前回学習時の最終的な勝率と並びそうな感じです。今朝からsspとスパーリングしてたバージョンのパラメータですが、昨夜のやつより誤差程度弱くなっています。頭打ちと決まった訳では無いので、もうちょっと学習継続させてみます。現在ssp相手に32勝23敗。頭打ちかと思っていましたが、まだ伸びるかもしれません。いう訳で、当面は現在の学習を継続する予定。学習経過24時間ほど走らせたパラメータで149勝161敗、勝率48.1%。去年の選手権バージョンよりは強くなってます。頭打ち感があるので、早々に三駒関係有効にして学習出来る様にしようと思います。サーバを実装したんで、前にプチ将棋を使って対ssp(ハンディキャップマッチ)の勝率75.6%を記録したパラメータでテスト対局。結果、勝率82.0%になりました。学習経過PGLeaf+MCからPGLeaf+Q(λ)にアルゴリズムを変更して、昨夜から5五将棋モードで学習中。現在、55万局経過後のパラメータでsspと対局中ですが、勝率65%前後。学習序盤としては上々の結果です。昨日はRMSPropと書きましたが、設定を見直したらRMSProp+慣性項になっていました。...まぁ、強くなってるから良いか。今の学習が頭打ちになったら、RMSPropのみに設定変更して、も一度学習しよう。やって原型とどめ無くなってきたので、一旦整理。学習経過ssp相手のスパーリングで、+3000点からの逆転負けとかが非常に多いです。目視している限りでも、負けパターンの半分はそんな感じ。三駒関係+αの重み*1を色々変えて実験中ですが、現時点でこれでは選手権は絶望的ですね。学習経過sspとスパーリングすると、大抵終盤で頓死します。三駒関係+αの重みが小さ過ぎる様です。いう訳で、駒割以外をもうちょっと重視する様に設定変更して再度学習中。負け無しの53連勝出来ました。いう訳で、現在sspとスパーリング中。同様の学習設定で、王将の移動可能範囲評価を有効にしたもの。結果、683勝299敗で勝率69.6%。僅かですが、着実に成長しています。学習経過まず、王将の移動可能範囲のパラメータの推移が何かおかしかったんで、一旦この評価項目は無効にしてみました。学習ルーチンは、損失関数は前に書いた設定のままで、勾配ノイズ*1を実装したもの。667勝304敗で勝率68.7%。損失関数を「λ収益*1との自乗誤差+交差エントロピー+PGLeaf+L2正則化」に修正し、132万局自己対局したパラメータ。あ、以前書き忘れていましたが、一時期からL2正則化無効にして元に戻すの忘れてたんで、今回の結果からL2正則化有効に戻ってます。損失関数を「報酬との自乗誤差+交差エントロピー+PGLeaf」にしたもので、自己対局数は135万。結果、606勝357敗で勝率62.9%、過去最高を更新。微妙な向上幅ではありますが。損失関数をλ収益との自乗誤差のみから、自乗誤差+交差エントロピーにしたもの*1に変更して120万局学習させたパラメータ。結果は609勝371敗で勝率62.1%。思考時間はGA将0.17秒、ssp1秒のハンディキャップマッチです。一昨日と同じパラメータで、GA将の思考時間を通常の0.1倍にした結果、490勝469敗で勝率51.1%。95%信頼区間は47.9〜54.3。いう訳で、当面はこの設定で勝率上げるのを目標にしていきます。昨夜からの連続対局の結果、845勝110敗で勝率88.5%。今の検証用マシンに移行してからは過去最高の勝率です。なると勝率高すぎて正確な検証が出来ない可能性が出てくるんで、前に実装したハンディキャップモード*1で連続対局させてみますか。先日書いたパラメータで、828勝152敗、勝率84.5%。PGLeaf改を上回ってくれました。上記パラメータは自己対局91万局なんですが、192万局まで進んだパラメータがあるんで、現在そっちで連続対局中。学習経過KKPのバグを潰して、EB-PGLeafで147万局学習させたパラメータ。結果、782勝190敗で勝率80.5%。前回UEC杯時のパラメータを超えました。2つほどバグが有ったんで、強くなって当然っちゃ当然なんですが。学習経過PGLeafで引き続き学習させたバージョン。結果は639勝88敗で勝率87.9%。95%信頼区間は85.3〜90.2。前のやつより0.2%勝率上がってますが、まぁ誤差の範囲内ですね。評価関数のバグをFIXしてから、PGLeafで12万3千局学習させたパラメータ。結果は270勝38敗で勝率87.7%、95%信頼区間は83.5〜91.1。これ自体はそんなに悪い数字じゃないですし、その後も順調にレベルアップしていますので、今後に期待が持てます。評価関数をリファクタリングしたので、弱くなってないのを確認する為に昨日と同じパラメータで連続対局。結果、458勝114敗で勝率80.1%。95%信頼区間は76.6〜83.3。少なくとも、弱くはなってないみたいなんで一安心です。修正した評価関数をPGLeafで学習させたもの。対局数は11万1千局。結果、310勝86敗で勝率78.3%。95%信頼区間は73.9〜82.2。最初は勝率85%前後で推移してたんで、結構期待してたんですけどねぇ。学習経過それぞれ自己対局100万局で学習させた結果の、対sspの勝率です。横軸が自己対局数で、縦軸が対ssp(本将棋モード)の勝率です。残念ながらPGLeafとSR-PGLeafの差はほとんど無いです。floodgate新バージョンのSR-PGLeafでゼロから学習し直したパラメータで、枝刈り全部あり・並列探索で対局させたもの。結果は262-0-38で勝率87.3%。95%信頼区間は83.0〜90.9。Updateとかで中断・再開しつつ約2千5百万局経過後のパラメータ。学習ルーチンは合議用SR-PGLeafで8クライアント。現在21-0-3で勝率87.5%。...うん、分かってる。明日起きると勝率7割とかになってるって。学習経過12万局ほどテキトーに学習したパラメータで、試しにssp(5五将棋モード)と連続対局。現在12-0-5で勝ち越してます。sspってこんなに弱かったっけ?あれ?次のページプロフィールid:Gasyouコンピュータ将棋ソフト「GA将」の開発日記です。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。