UmedaエンジニアAbemaTVデータテクノロジーズの梅田です。今年の9月に短期インターンシップ「データコンペ2019」を実施しました。その紹介と次回の開催予告をしたいと思います。データコンペってなに??データコンペは、AbemaTVのログデータを使用して、実際のサービス課題を機械学習で解いていくイベントです。ログデータは、弊社社員が日常業務で取り扱っているものとほぼ同じ状態のものを提供しています。今回は、AbemaTVの広告視聴数(impression数=imp数)を予測するモデルを作成し,その予測性能を競いました。これまで開催してきたコンペでは、個人戦のみでしたが、今回から1日目は個人戦、2日目はチーム戦で実施しました。ミッション説明お題:AbemaTVの広告視聴数を予測せよはじめに、AbemaTVの広告について説明します。運用について通常の地上波テレビ局であれば、1チャンネルしかないので人力でCMを挿入することも可能です。AbemaTVでは、現在20以上のチャンネルが24時間放送されています。24時間体制で一つ一つマンパワーでCM挿入作業をするとなるとかなりの重労働になります。そこで、AbemaTVでは広告自動配信システムでCMを配信しています。AbemaTVの広告商品についてAbemaTVのとある広告商品では、クライアントさまと「7日間で100万imp配信するので、出稿費として〇〇円いただきます。」という契約を結びます。この”7日間で100万imp”を必ず守るように配信しなければなりません。そのため、クライアントさまとの契約の進捗状況を加味しながら、広告配信を行っていかなければなりません。そこで、imp予測の必要性が出てきます。予測の精度についてimp予測の精度が悪いとどうなるのか。・実際のimpよりも大きく予測した場合、クライアントさまと契約していたimpから立てた目標よりも実績が小さいため、ショート(契約違反)になってしまいます。・実際のimpよりも小さく予測した場合、契約したimpよりも多くimpを出してしまうため、オーバーimp(弊社の機会損失)になってしまいます。このように、AbemaTVの広告事業にとって、配信システムにおけるimp予測は非常に大事なミッションです。今回は、このimp予測という回帰問題に取り組んでもらい、その精度を競いました。今回のイベントアピールポイント今回は過去2回のデータコンペとは違う、3つの変更点がありました。1配布データ量を増やした(4000万レコード以上で実施)2分析サーバーを参加者人数分提供した3チーム対抗戦を追加した1は、普段あまり触れることができない非常に大きなデータを扱うことで、大規模データ処理の難しさを体感してもらうために実施しました。2では、データ量を増やした関係上、ローカル環境で分析してもらうと持っているPCによって個人差が出てしまいます。そこで、今回は全員同スペックの環境を用意しました。これまでは個人戦だけで行ってきましたが、今回はチーム対抗戦を2日目に追加しました。これは、チームで取り組むことによって、各々個人のもつアイデアの”シナジー”が生まれないか。いった意図で今回チーム対抗を実施しました。競技開始!!みんなもくもくと作業しています各テーブルにメンターが一人ついて、しっかりサポートしました!データ分析においては、ドメイン知識が非常に大切なので、活用してくれてよかったです。おっと、暫定一位です!!結果は。???そのまま逃げ切り、優勝!!!のインターン生1日目で多くの学生が、大規模データの取り扱いに苦戦していた様子。参加してくれていたみんなにも、どっと疲労感が見られました。