これはもともとCNNのチャネル数が64と小さいため16で割るのは過剰ではないかと考えたためである。全結合層についてバイアスあり・なしの2通りを実験した。ベースラインとしてSENet構造を入れてないものと比較した。検証損失の推移を以下に示す。右:Value損失どれも38エポックを経過した段階で最も損失和が低くなっており、その時点での値を以下に示す。1.149バイアスあり・なしのいずれにおいてもベースラインより低い損失となった。ベースラインのモデルが10ブロック・64チャネルという比較的小さなネットワークのためか、SENet構造を入れることによる学習時間の増加は13%~14%と大きめになっている。学習に比べて対局時にはネットワーク以外の処理も含まれるためNPSの低下はこれよりも小さいはずであり、影響は少ないと思われる。検証対局それぞれのモデルを用いて技巧2(深さ1)と1手1秒で200局対局を行った。+113.3SENet構造を導入することで探索速度の低下を補ってあまりある程の棋力向上が見られた。全結合層のバイアスはないものの方が高い勝率となったが、ここまで大きな差がつくのは損失の違いがわずかであったことからすると意外な結果である。偶然の影響が大きそうな気はするが、勝率だけでなく損失も悪くないためとりあえずバイアスなしのSENetで強化学習を試してみることとする。結果はいずれにここに追記する。強化学習バイアスなしのSENetを用いてAlphaZero方式の強化学習を試した。検証損失はベースラインよりも低い値となった。+164.1となりやや性能が上がった。~実験編~前回はTDLeaf()の理屈からAlphaZeroにおいて探索した値を用いる...2019-04-10小さいバッチサイズに対する学習率設定Miacisではバッチサイズ64で学習を行っている。月別アーカイブはてなブログをはじめよう!tokuminiさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。