要約Policyの教師信号を探索回数の正規化した分布とした方が性能が向上した。背景AlphaZero型の学習においてPolicyの教師信号にはルートノードから各行動について探索した回数をその総和で割った分布を利用している。MiacisではCPUのメモリ容量が足りないかと思って、実際に取った行動をOnehotベクトルとしたものを教師信号としていた。計算してみると問題はなかった。(=1M)局面分のサイズを持つリプレイバッファを用いて学習をしている。合法手が平均100手とすると増加分は800MByteとなる。実験結果floodgateの棋譜に対する損失は次のようになった。教師信号を分布としたものがpropotionalである。技巧2(深さ1)と1手1秒で200局対局させた結果は次のようになった。81.0%ほとんど変わらないようにも思えるが、Policyの教師信号を探索回数を正規化した分布とした方が多少良い結果のように思える。初期局面でのPolicyの出力分布を示す。13.8%教師信号を分布としたほうが手がばらけるかと思ったがこと初期局面に関しては単純にそうなるわけではなかった。propotinalは技巧との対局では中飛車が多くなったのだが、特にその傾向もこのPolicyからだけでは見られない。1秒探索した後の探索回数を正規化した分布についても調べた。2.9%propotinalの▲7八金の後は読み筋で▲5八飛車と出るので、実質80%ほどが中飛車となると予想され、これは対局を見ていて受けた印象とも近い。両者ともPolicyの偏りに比べて探索結果の偏りが大きすぎるのではないかと思われる。[-1,1]の範囲で探索しているMiacisにとっては小さすぎるのかもしれない。戻して実験してみたい。2.5としたとき一番性能が良かった。持ち駒は正規化した方が良さそう。月別アーカイブはてなブログをはじめよう!tokuminiさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。