以前から機械学習などに興味があったものの、難しそうでためらっていたのですが、Unityで強化学習ができるML-Agentsというものがあると知り、理論についてほぼ何も知識のない自分でも、なんだかいけそうだと思って試してみました。公式サンプルゲームを動かしてみたのですが、何か自作ゲームを学習させてみないと理解が進まないと思い、なるべくシンプルで最小限の構成になるようなゲームを考えました。Unityを使うので物理演算も入れたい。そこで考えたのが、上から降ってくる物体をヘディングのようにバウンドさせるゲームです。人間がプレイするとこんな感じになります。これを強化学習させて攻略させてみました。これ以下の内容はML-Agentsの公式サンプルを動かすところまで出来る方が対象です。Qiitaにも他の方が書いた記事があるので参考にして下さい。ゲームを作る左右の壁とボール(小)、Player(ボール大)のみです。ボールは反発係数1にしてあるのでよく弾みます。いうか、弾むたびに微妙に動きが大きくなります。?でも割と面白いのでそのままにしています。何度も弾ませたり、壁を使って連続で弾ませると、壁を超えてしまいます。それをクリア条件にすればよかった、と後から思いつきました、が本題ではないので省いてます。このゲームのセットを1つのAgentとして、8つのAgentsを配置し学習を開始します。シーンをスタートすると、Playerの上からボールが降ってきて、下の大きいボール(Player)で跳ね返します。操作は左右キーのみです。→MoveAgentに記述ボールをPlayerのy座標よりも下に落とすと、Done()が呼ばれてリセットされます。取得する状態数は1つだけ。ボールとPlayerのx座標の相対位置を取得します。報酬はボールを跳ね返したら1点追加します。→OnCollisionEnter()にSetReward(1f)を記述ボールを落とした場合に報酬を減らす方法も試しましたが、うまくいかなかったのでコメントアウトしています。}}学習結果10万回学習させたところ、7回ぐらい跳ね返せるようになりました。その他の値はこのようになっています。これらが何を意味しているのかよくわかっていないので、分かる方はぜひ教えてください。今回の学習結果では、ボールのx座標に追従するような動きになっています。このような動きは、わざわざ強化学習でなく、コードを書くだけでも似たような動きが実現できると思います。人間的な動きとしては、落下地点を予測してあらかじめ移動しておくものになるはずです。そのために、状態数や報酬の与え方を工夫する必要が有る、ということを実感できました。今回WebGL版をビルドしようとしましたが、エラーが出てビルドできませんでした。これについても詳しい方、コメント頂けると幸いです。制作物macでとりあえず動きを見たい人用のappです。http://mixsandwich.info/Bounce.zipソースコードです。スクリプト見たり、ビルド&学習させたい時用。