Cross)機械学習エンジニアの西場(@m_nishba)です。自然言語処理を使ったリコメンドや文書分類、ユーザー分析を行っています。最近、読んだ論文を社内データに対して試したので紹介します。Presentationの論文で、Googleの人たちによって書かれています。dataをどのように活用するか」です。dataを使わない、または単純に結合する方法が採用されていました。Crossという方法を提案しています。全結合層やRNNの入力として使うことになります。この方法だと単純な例でも上手く学習できない/深い層が必要になるケースがあります。協調フィルタリングを考えます。下記のように近似します。近似できるか実験すると下図のようになります。m=2のカラム)でも1層ではかなり精度が低いです。現実の問題ではかなり深い層を必要とする可能性があります。Crossを提案しています。dataを取り入れる方法です。使って下記のように調整します。要素ごとの掛け算です。することで前述した単純な結合では表現できなかったようなケースにも対応できます。推薦システム以外の研究でも重要性が示されているattentionの一種だとみなすことができます。値の調整により、中間層の出力に対して次元のマスキングをすることができます。dataとして時間を取り入れたモデルで数値検証を行っています。Crossの順にPrecisionとMAPが改善しています。Crossは推薦システム以外にも応用ができそうなので、文書分類について実験します。使った”ニュースのタイトルから「地域」タグがつくかどうかの2値問題”を扱います。様々な新聞社からニュースが配信されており、地域密着の新聞社の場合、地域のニュースが多いと予測できます。Crossを適用しようと思います。モデルの詳細についてこちらをご覧ください。ほとんど変わらないですね。この問題において新聞社は特徴量として効かないようです。他の要素やLatentCrossの入れる層などを検討し、精度改善を進めたいと思います。いったコンテンツが豊富にあり、分析によってビジネスを加速することができます。特徴として、ビジネスに直結しているメインサービスにアルゴリズムの導入ができる。アルゴリズムのABテストをビジネスサイドが受け入れてくれる動画等に対する長期的なアルゴリズム開発にも挑戦できる。外部API等では実現できない面白い課題に専念できる。(外部APIでできる問題は外部APIを使います。)新卒・中途関係なく、自分が担当する案件のメイン開発者になれる。いったところがあります。興味のある方は応募フォームまたは@m_nishibaまでご連絡ください。あけましておめでとうございます。月別アーカイブ注目記事はてなブログをはじめよう!m3techさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。