UEC杯ですが、GA将?は大きなトラブルは無く、無事指し終える事が出来ました。言えば、2日目開始前にPCのコンセントが半分抜けかかっていて、突然電源が落ちる事があった位ですかね。いう感じのがあるので、メモがてら書いてみます。前提として「自己対局での強化学習を行う」事とします。サーバを自作したらGA将の千日手回避漏れが検出出来る様になったんですが、チラホラと回避漏れが有ります。原因の局面を調べてみたんですが、意外と難しそうです。サーバを実装したんで、前にプチ将棋を使って対ssp(ハンディキャップマッチ)の勝率75.6%を記録したパラメータでテスト対局。結果、勝率82.0%になりました。開発日記プチ将棋だと「千日手が先手の負けにならない」「打ち歩詰めが負けにならない」という問題があるので、5五将棋モードで連続対局させる為のサーバを自作。ルーチンを色々いじってみたのものの、結局今年1月2日に対ssp勝率75.6%を記録したのを超えられませんでした。これがUEC杯に向けての最後のお願いになるはず。学習経過PGLeaf+MCからPGLeaf+Q(λ)にアルゴリズムを変更して、昨夜から5五将棋モードで学習中。現在、55万局経過後のパラメータでsspと対局中ですが、勝率65%前後。学習序盤としては上々の結果です。1.は今の学習ルーチンが良い感じなので、ジックリ時間をかけてやれば良いはずです。2.に関しては、大会が20分切れ負けなので、最大思考時間を90秒か120秒に設定。DreiにAdamを組み込んでみたんですが、RMSProp+Momentumより明らかに性能劣化しています。どっかにバグが残っているかもしれないので、今からテストしてみます。開発日記RMSProp+Momentumが思いの外良い感じだったんで、それならいっその事と思い、Adamを実装。Dreiに組み込んで学習用マシンに投入しました。昨日はRMSPropと書きましたが、設定を見直したらRMSProp+慣性項になっていました。...まぁ、強くなってるから良いか。今の学習が頭打ちになったら、RMSPropのみに設定変更して、も一度学習しよう。やって原型とどめ無くなってきたので、一旦整理。現在のGA将は自己対局500回を1エポックとして、10エポックごとにレベルアップ判定をしています。オープンアクセス不可の論文なんで、気になった所だけ書こうと思います。通常の方策勾配法では、パラメータは「確定的な」ベクトルである。これを、ハイパーパラメータ*1から生成される「確率的な」ベクトルに拡張する。上記論文の関数近似器の導入は断念しました。何をどういじっても、素のPGLeaf以上の性能にはならなかったので。やった事は大体こんな感じ。学習開始時*1からのレーティング上昇量が4300とかになってウハウハだったんですが、sspと対局させると勝率が3割前後。Phase1完成していなかった次のページプロフィールid:Gasyouコンピュータ将棋ソフト「GA将」の開発日記です。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。