ここで重要なのが、行動3は、行動2ほどではないけどそれなりに良い行動であるにも関わらず、話にならない行動1と選ばれる確率が同じという点。法は、この問題点を解決してくれます。\(Q\)値を\(softmax\)関数にかけ、出てきた確率ベクトルを用いて乱数で行動を決めます。%弱の確率で選ばれることになります。行動3と行動1に明確に差別化がされており、上記の問題点を解決したと言えるでしょう。法には別の問題点があります。それは報酬のスケールの影響を受けるという点です。先述の通り、報酬の構成にはヒューリスティックな部分が大きく、定数倍の影響を受けるのは好ましくありません。報酬が何倍になろうと、同じ選び方をしてほしいのです。0.8807970779773459,0.11920292202204497]\)となり、確率が変わってしまっています。一方で通常の\(Q\)方策の場合は、定数倍の影響をうけません。現在スルーに導入中の新技術は、この2手法両方の問題点を解決した手法となっております。論文にしていきたいと考えているため、まだ公開はできませんが、いち早く世界に先駆けてご利用いただけます。通常の学習方法でのご利用も可能です。他にも巨大な市場をコンピューター上で再現し、そのシミュレーションによって学習を行う壮大な計画も立ち上がっております。続報をご期待ください。