Learning系の将棋ソフト(ふかうら王)と、やねうら王(評価関数:水匠)とで、長時間にした時にどちらのほうが棋力の伸びが大きいかについて計測したので公開する。Learning系の将棋ソフトのほうが局面評価の精度が高いと考えられるので、長時間になればなるほど強くなるように思われる。ところが、探索部の性能の差があって、やねうら王はドメイン知識(将棋固有の知識)を活用して探索しているので、探索性能の差があると考えられる。3000ノードでの比較。双方、1スレッドでノード数の制限をして対局させた。うら王互角局面集の24手目の局面からの対局。50.1%強さはほぼ互角。水匠側が+R10.57強いように見えるが計測誤差だろう。ふかうら王は、水匠の1/100の探索ノード数で互角の強さということがわかった。ここから、探索ノード数を2倍ずつして行き、どちらが強くなるのか調べたいのだが、面倒なので双方8倍してみた。2万4千ノードである。一般的に将棋ソフトは思考時間を2倍にすると+R200程度強くなると言われており、やねうら王を探索ノード数8倍にすると+R600ほど強くなっていると思われる。1000局程度ではどちらがより強くなっているかは言えない感じである。まとめAlphaZeroは、その論文では、elmoとの対局で時間を伸ばせばAlphaZero側のほうが強くなる感じであったが、上の条件では、どうもそれは確認できない。GCTの評価関数は10ブロックのResNetで、AlphaZeroは20ブロックのResNetだから、局面の評価精度に差があり、20ブロックのResNetを用いた評価関数の場合、持ち時間を増やしていくとやねうら王との差は開くのかも知れない。Learning系のソフトが有利」とは言えないようである。:初コメントです!いつも読んでるわけではないですが、ツイタで流れてきたタイトルにつられてつい記事を読みました。今回検証に利用されたDL系の「ふかうら王」と「やねうら王」のうち、やねうら王では探索部で将棋固有ドメイン知識つかっているとのことですが、実験では「ふかうら王」は使ってないとの解釈であってますしょうか。実験では「ふかうら王」は使ってないとの解釈であってますしょうか。ふかうら王は、普通のMCTSなので、ドメイン知識はゼロに近いです。...)、これらをすべて取り除くとそれは単なる(純粋な)αβ探索となってしまいます。MCTSと純粋なαβ探索とで思考時間を2倍にした時にどちらが強くなるかという比較でしたら、当然前者です。ドメイン知識を大量に導入して、枝刈りをしまくってやっと思考時間2倍でR200になっているだけで、ドメイン知識なしでは、思考時間2倍で+R50すら上がるか怪しいので...。...)、これらをすべて取り除くとそれは単なる(純粋な)αβ探索となってしまいます。ああ、上記提示されたものを将棋固有知識としていたのですね。完全情報2人零和系なら使えること多いので。チェスは言うまでもなく、自分は囲碁でも使っていたので使える領域はかぎられるものの将棋固有ではないと認識してました。囲碁でいうと、シチョウで取られる手をある程度力ずくでだめと認識させるような。将棋でいうと、末端で駒捨てる手を省略するようなのを本記事ではドメイン知識と言ってるのかと。それはともかく性質の違うものを比較するのも難しいけど、この記事面白かったです。使える領域はかぎられるものの将棋固有ではないと認識してました。pruning(枝刈りによって探索結果が変わらない)が使われることは稀で、実際はもっと大きなmargin値にするのが普通です。うら王では、以下のようなマージン値になっています。dは残り探索深さ、improvingは、前の局面から評価値が良くなっているかのフラグです。improving));この時、224と言う係数は、empiricalに(実験上、経験上)良いとわかっている値で、これは将棋というゲームの性質に強く依存しているので、私はドメイン知識とみなしています。このように、ゲーム木探索で一般的に使われているような枝刈りであっても、empiricalな値が出てくる場合、それはドメイン知識とみなすのが普通ではないかと思います。:水さんとふかさんで評価値差が大きいのはどういうケースですか?水さん『+400くらい』ふかさん『はあ?何言うてるの?ー400くらいでしょ』みたいな感。:評価値の差が大きくなるのは、もちろん終盤ですけどね。+10000で、もう片側が+2000みたいなことは普通にあるので。この場合、どちらも先手勝ちと言っているわけなので、この8000の差にどのような意味があるのかという...。「評価値の符号が正反対になる確率が高いのは、序盤か終盤か」みたいな問いかけだと、難しいですね。:複数手の評価値大小の方がいいのか。『ある局面でふかさん水さんがそれぞれ手A,Bを選択した。