viewsこんにちは!グロービスでデータサイエンスチームのプロダクトマネージャーをしている宮島です。こちらの記事でも紹介したように、現在グロービスでは自社で保持する学習データを活用した機械学習PJTをガンガン進めています。実際にリリース(=サービス導入)まで完了したPJTもいくつかあります。そこで今回はリリースしたPJTの中で、約1.5ヶ月という短期間でサービス導入となったPJTをピックアップして紹介出来ればと思います。機械学習PJTの概要どんなPJTか?一言でいうと、オウンドメディアであるGLOBIS知見録(以下知見録)からオンライン学習サービスであるグロービス学び放題(以下グロ放題)への誘導を最適化するというPJTになります。知見録からグロ放題に遷移するユーザーを増やす事で、グロ放題利用ユーザーを増やすという事を目的にしたPJTになります。どんなアルゴリズムにしたか?改良前のアルゴリズムは、下記のように知見録記事に付与されたタグと合致するグロ放題のコースをランダムで5個表示するというルールベースのアルゴリズムになっていました。このアルゴリズムの改良として、コンテンツベースのレコメンドを採用しました。知見録記事とグロ放題コース情報のそれぞれの文章をTF-IDF表現でベクトル化し、コサイン類似度を使って類似度計算をする事で類似度が高いコースを5個表示するという非常にシンプルなアルゴリズムにしました。本当はImpressionやClickログを用いたアルゴリズムも試したかったのですが、これらのログが取得出来ていなかった事から、初期リリースではログベースは一旦諦めました。アルゴリズム改良で期待していた点は何か?改良前のアルゴリズムには大きく2つの問題点がありました。1つ目の問題点は、グロ放題への誘導導線が表示されないという機会損失です。知見録上には存在するがグロ放題には存在しないタグを付与された記事に関しては、グロ放題コースが表示されなくなりimpression観点で機会損失が発生していました。2つ目の問題点は、関連性の低いコースも表示されてしまう点です。タグ一致でかつランダム表示であるため、記事の内容と本当に関連度の高いグロ放題コースが表示されないケースも発生していました。これらの問題点を解決すればグロ放題ユーザーの増加が見込めそうだったので、シンプルなコンテンツベースレコメンドでクイックにリリースする事を目指しました。どのようなデータパイプラインにしたか?こちらの記事でも紹介したように、機械学習のサービス導入においては「自チームのみの対応でアルゴリズム改良可能なデータパイプラインにする」事が重要になります。(継続的にアルゴリズム改良をしていきたいので)なので、今回は下記のようなファイル連携の形にしました。Storageにしているので、書き込むファイルの内容を変更すれば、レコメンド結果を変更出来るようになっています。リリース結果A/Bテストから始めて、新アルゴリズムの方が良い事を確認してからサービスインする事が一般的かと思いますが、このPJTでは最初からサービスインという形にしました。前述の既存アルゴリズムの課題を踏まえると、良くなる事が自明だったためです。そこで、効果検証はリリース前後1ヶ月での比較になりました。効果を測る指標としては、以下3つの指標を使いました。・CTVR:約1.9倍に上昇!このPJTが特徴的だったと思う3つのポイントここまでPJTの内容と結果を紹介してきましたが、実は進める中でグロービスらしさを表すような特徴的なポイントが3つありましたので、紹介出来ればと思います。PJT実施がすぐに承認されたこのPJTは2つのサービスが関係しているので、PJT関係者(=ステークホルダー)は以下のように多岐に渡りました。(知見録を開発して下さってるベンダー)プロジェクトマネジメントの一般論として、ステークホルダーが増えれば承認プロセスが複雑になり、承認を得るのに時間がかかるようになります。私も最初は時間がかかる事を想定していました。実際は全関係者を集めた1回目のMTGでPJT実施の承認を得る事が出来ました!加えて、A/Bテストをskipして最初からサービス導入しようという意思決定もなされました。定量(=効果試算)と定性(=既存アルゴリズムの問題点指摘)の2つの観点でPJT実施の意義を説明した事で納得感を得られた部分もありますが、「良いと思ったらすぐに意思決定する」というグロービスのカルチャーの影響も大きかったと思っています。プロダクト開発チームの開発が爆速サービス導入は、データ連携要件の確定→実装→テストと開発が進んでいくので、リリースまで1ヶ月以上はかかる事を想定していました。実際は約2週間でリリースが完了しました。(当初の予定より約1週間前倒してのリリースでした)PJT実施の意義を納得してもらえていてモチベーションが高まっていた事もあると思いますが、「スピードを常に意識する」というグロービスのカルチャーの影響も大きかったと思っています。私自身これまでいくつかの企業で機械学習PJTのPMを経験していたので、PJT開始からサービス導入まで3ヶ月位はかかるだろうと想定していました。実際は、PJT開始からサービス導入までが約1ヶ月半で完了しました。前述の「PJT実施の意思決定の早さ」、「プロダクト開発チームの開発が爆速」という2つの要因が重なった事による結果ですが、これまでに経験した中で最速でのサービス導入だったので、グロービスのスピード感にとても驚きました。Machines(以下FM)を用いたアルゴリズムへの改良を予定しています。アルゴリズム開発のためにはimpressionやclickログの取得が必要になるのですが、そちらの開発も爆速で進んでおり、近々利用可能になる予定です。前述のように、自チームで生成するファイルの内容を変えればアルゴリズム切り替えが出来るようなデータパイプラインになっているので、FMが完成したらすぐに新アルゴリズムの効果検証が開始出来る形になっています。さいごに今回は1.5ヶ月でリリースした機械学習PJTの事例を紹介させて頂きました。今回紹介した内容以外でもいくつか進めたい機械学習PJTがあるのですが、やりたい事に対してデータ人材が不足しています。技術のわかるPMになりたいという思いから、ソーシャルゲームのサーバーサイドエンジニア、データ分析エンジニアとしてキャリアをスタート。進学メディアのUI/UX、SE...Follow株式会社グロービス教育がデジタルで大きく変わろうとする中、これまでに作り上げた学習コンテンツや仕組みのデジタルシフトを促進すべく、統合された学習環境=「グロービスラーニングプラットフォーム」の構築や、グロービス学び放題(https://hodai.globis.co.jp/)というビジネスナレッジの動画学び放題サービスを提供しています。