要約は2.5としたとき一番性能が良かった。代わりに違う値を用いているのもあり、係数も調整し直した方が良い可能性がある。以前の記事では、初期局面について探索を行うと探索回数が偏っていることがわかった。まま技巧(深さ2)と検証対局を行った。して次の3通りを試した。floodgateの棋譜を用いた検証損失は次のようになった。重視していないのだが、今回は顕著な差が見られたので学習損失も示す。右:Value損失C_sにおけるPolicy損失の下がり方が急激過ぎるように見える。学習損失が下がっている間にはあまり検証損失が下がっておらず、むしろ800kステップあたりで学習損失が上がりつつ検証損失が下がっていることから、良くない指し手に行動が偏ってしまっているのではないかと思われる。技巧2(深さ2)と1手1秒で300局対局を行った結果は次のようになった。+46.6C_PUCT=2.5が一番勝率が高かった。C_sと比べてEloレートに換算すると約+100ほどの伸びとなっている。25.4%となっており、ほぼ▲2六歩と▲7六歩で確率の大部分を占める形になっていた。バラけさせる効果が有効に働いていたかどうかはわからず、C_sとの性能差は上手く▲2六歩と▲7六歩を見つけられるかという偶然性による可能性もある。強化学習なのでそれぞれ1回の試行で結論付けるのも怖いところではあるが、一応今後はC_PUCT=2.5でやっていこうと思う。持ち駒は正規化した方が良さそう。月別アーカイブはてなブログをはじめよう!tokuminiさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。