常に温度1(つまり探索回数に比例した確率で行動を選択)Miacisでもこうしている。500,000ゲーム囲碁の平均手数を200手くらいとすると約20Mデータとなるか。20ブロック本当にこんなに巨大なネットワークを使う必要があるのかなというのは疑問なのだが学習率は0.01から始めて0.5Mステップ経過ごとに1/10(全学習ステップは1.5M)AlphaZeroも学習率0.2から始めているとあるけど、実は囲碁では0ステップ後に学習率を1/10するとあるから0.02スタートではある(Science版)。チェス、将棋だと10倍も大きい学習率で始めて良いというのが直感的には納得し難いが、そういうものなのかもしれないバッチサイズは2048AlphaZeroに比べて1/2だがステップ数を2倍にしているのでほぼ同等の学習になっているのだろうステップあたりの生成量と学習ミニバッチサイズの比は約13:1Miacisでは1:4くらいでやっている。学習率を下げるとむしろさらに不安定に→ほとんど変わらないモデルによる同じような対局ばかりになってリプレイバッファ内に多様性がなくなることが問題?終盤から徐々に学習されていくわけではなさそう所感AlphaZeroの学習はとにかく膨大な量を必要とする点が実験していく上で非常につらいので、何はともあれ高速化をしなければ話にならないという気持ちが強い。その点で終盤から徐々に学習されるわけではなさそうという指摘は大きいものなんじゃないかと感じられる。手元での学習推移や学習途中のパラメータにおける指し手の傾向を見ても、どちらかといえばPolicyの偏りが原因で(強化学習の意味での)探索が上手く進んでいない可能性はありそうに思える。ディリクレノイズによるランダム性の与え方をもう少し工夫できないかなと考えたいところだが、探索を促進する内発的動機づけとかそちらの論文を読んでみるのが良いのだろうか。2.5としたとき一番性能が良かった。月別アーカイブはてなブログをはじめよう!tokuminiさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。