武グノシーやニュースパスなどのプロダクトではユーザーの行動をリアルタイムに反映し、個々人に最適化された推薦システムを構築しています。アーキテクチャとデータレイク設計の勘所についてお話します。セッション一覧ユーザー行動の数理モデルスマートフォン向けニュース配信アプリのニュースパスでは、ユーザーにパーソナライズされたニュース推薦を実現しています。推薦システムの開発時に、以下のようなニュース推薦特有の難しさがあったようです。ニュースの価値は基本的に時間減衰する性質がある内容ベースの推薦のみだと表面的な言葉の一致度だけで推薦され質が担保されない表面的な言葉の一致度だけでニュースを推薦した場合、次のような問題があります。試合をある芸能人が観戦したというニュース上記2つのニュースを同程度のスコアで推薦する可能性があります。試合をある芸能人が観戦したというニュースは興味が薄いかもしれません。アーキテクチャとデータレイク設計のポイントのご紹介という内容でした。読みたいニュースをユーザーの行動心理の点から考えた場合、以下の2つが重要とのことでした。コミュニティで話題になっている記事は知りたいだろうという考えに基づきます。何か起きた場合、知りたくなるというユーザーの行動心理を指します。野次馬のダイナミクスを実現する数理モデルは、まず、ニュース記事を連続的なベクトル空間に埋め込み記事ベクトルとします。特徴空間上で本田圭佑に関する記事同士はユークリッド距離が近く、六本木での事件の記事は遠くなるように埋め込みます。記事の重み付け平均を取りユーザーベクトルとします。記事ベクトル、ユーザーベクトルを使ってベクトル空間上で野次馬のダイナミクスを表現しています。記事ベクトル、ユーザーベクトルはユーザーが記事をクリックするごとに更新されます。この数理モデルを実装することに加え、ビジネス要件としてリアルタイムに安定した配信ができるモデルとする必要がありました。サービスを使用し、ほぼサーバレスに実現しているとのことでした。用いている点がポイントです。乗せる処理が走ります。行動モデルから高速な推薦へ記事の鮮度・流行り度を記事ベクトルの周りの密度で表現し、密度が高い記事は流行り度が高いとして記事の推薦リストを生成しています。満たす必要があったとのことでした。経由しデータにアクセスしています。この仕組みの利点は以下となります。側の負荷を気にする必要がないまとめニュース推薦の数理モデルについて、アカデミアでの研究論文は多くなかったためゼロから考えたというお話が印象的でした。データサイエンスだけでなく、機械学習エンジニアリングの視点からも学ぶ点が多いセッションでした。スライドが公開されていますのでこちらも是非ご覧ください。クロスバイク、映画鑑賞、猫が好き。