機械学習で配信中の映像からゲームを推定する機能をリリースしました2019-03-26機械学習で配信中の映像からゲームを推定する機能をリリースしました機械学習おはようございます、機械学習エンジニアのハヤシです。そのため、背景や機能の紹介については最小限に留めさせていただきます。記事に開発の背景や想いを書いています。そちらをご覧ください。配信中の映像から「今なんのゲームをやっているのか?」を推定する機能です。機械学習にて画像認識モデルを作り、どのゲームで遊んでいるかを推定するクラス分類機を作りました。今遊んでいるゲームを推定しています。テストとその結果Mirrativでは、新機能をリリースするときには必ずといっていいほどA/Bテストを行います。A/Bテストを行うことで、機能の目的がどれくらい達成されたかを定量的に確認します。その効果を確認した後、本リリースするかどうかを決定します。本機能ももちろんA/Bテストを行いました。再度この機能の目的を整理します。【課題】アプリ設定を行わないことで、視聴数やコメント数が伸びづらい。その結果、配信の継続率がアプリ設定者よりも低くなる。【解決方法】アプリ設定を自動で行うことで、「マイアプリ」や「おすすめ」タブに乗りやすくなる。視聴数やコメント数が伸び、配信継続率が高くなる。本機能の対象になるユーザーさん(A群)とそうでないユーザーさん(B群)で、配信継続率を観測することにしました。配信者さんのユーザー体験と密接に関わっている視聴者数やコメントユーザー数、コメント数から観測しています。コメントユーザー数以外、すべての指標で伸びています。各指標の伸び率をプロットそして、配信継続率の比較結果がこちらです。本機能でアプリ設定されたことにより、A群の配信継続率がB群の約1.8倍に向上しました。A群とB群の配信継続率の比較また、自動設定の内容を定性的に観察するための機構を開発しました。前回作成したプロトタイプを改良したものになります。Confidence*1の閾値(以下「推定結果の閾値」と表現します)付近で設定ミスが観察されました。以上の結果から、推定結果の閾値を引きあげた上で本機能をすべての配信者さんに提供をすることにしました。配信者さんからのフィードバックありがたいことに配信者さんから様々なご意見を頂戴しました、その一部を紹介致します。オンラインの自動設定内容を確認したところ、他のタイトルとは異なり設定ミスが目立っていました。そのため、暫定対応としてそのタイトルは自動設定の対象から外しています。画像分類でこの問題を解く以上アプリ推定の精度が100%になることはありえません。精度をあげることで可能な限り設定ミスを減らすことはできます。そのため、画像分類モデルのチューニングや再学習などでモデルのパフォーマンスをあげることで設定ミスを減らしていきます。仲間内だけに見てもらいたいので自動設定するのはやめてほしい。アプリ設定をしないことでフォロワー以外の視聴者さんを減らしたがっている配信者さんがいました。この方の希望は「自動設定をやめてほしい」ではなく「仲間内にのみに配信したい」だと思われます。版にはフォロワーだけに配信する「限定配信機能」が実装されていません。版の「限定配信機能」の開発を検討することにしました。あるゲームからスピンアウトされたタイトルが、派生元のゲームに誤検知されてしまう。「パズル&ドラゴンズ」からスピンアウトした作品の「パズドラレーダー」が「パズル&ドラゴンズ」と誤検知されてしまいました。現状は教師データのアノテーションを手動で行っていたため、教師データを作れる量に限度がありました。配信されている約70%のタイトルにのみ適用しています。*4「パズル&ドラゴンズ」は自動設定対象でしたが「パズドラレーダー」は自動設定対象外でした。左がパズドラの画面で右がパズドラレーダーの画面です*5この件については、対象タイトル数を拡大していくことにより解決する可能性があると思われます。ゆえに、まずは対象のタイトルを拡大し、それでも誤検知が起こるようなら別の対策を打つつもりです。現状のモデルの精度をあげつつ、今後は自動設定対象のタイトルを増やしていきます。対象タイトルを増やすにあたり、教師データをどうやって作るかが課題となっています。今後は以下の手法で教師データを作成して対象タイトルを拡大していく予定です。*6教師データを自動で生成するモジュールを作成する。手作業で全タイトル分の教師データを集めてモデルを作る。以降は新規タイトルを転移学習させることで手動でも対応できるようにする。配信されているすべてゲームを自動設定の対象とします。将来的には現在遊んでいるアプリを設定する機能を完全に自動化するつもりです。一緒に開発してくれるエンジニアを募集しています!体験入社や副業も大歓迎です。*3:アノテーションを効率化するためにツールを自作しました*4:約70%のタイトルの教師データを作るのに、3人がかりで約60時間かかっています*5:初めてパズドラレーダーの画面を見たとき、普通にパズドラと見間違えてしまいました。ごめんなさい...*6:現在は教師データの自動作成を検証中です。09:00Tweet関連記事2019-12-12ミラティブにてクラロワAPIを利用したイベントをやってみたこんにちわ。