「つくれぽを投稿するのは楽しいし、もらえるのも嬉しいですね。」というご意見は「ポジティブ」と「つくれぽ」に入っています。)のご意見はまだ多くはありません。クローズされたサービスも多数存在し、それらに関するカテゴリーはいらなくなります。取り組みについて以上の3つのチャレンジに向けて、どのように解決したのかを簡単に説明します。参考にしながらプロジェクトを進めました。つを気にして進めました。learning.(機械学習を使わないことを恐れるな!)辞書ベースの手法を試しました。「探、調べ、検索、キーワード」という単語が含まれるご意見は「検索関連」と判断されます。この方法だと、かなり高い精度が得られますが、再現率が低いです。以上のカテゴリーの一つずつに辞書を作るのがあまり現実的ではないので、他の方法を試すことになりました。対応で、1つのカテゴリーに相応する1つのバイナリ分類器を作りました。分類器を作成しました。(負例が正例より圧倒的に多い)に関しては、正例はそのままにし、負例は正例と同数になるように無作為に選びました。以上になるまでチューニングしました。このぐらいの精度でも十分なので、早い段階でインフラを整備し、本番環境に導入しました。性能を達成することは難しいため、完全に自動分類で手作業をなくすことではなく、分類業務へサポートという形で導入しています。以下は導入後の管理画面のイメージで、結果的にご意見サジェストという形で導入しています。以上のカテゴリーの中から探さないといけないのに対し、導入後は数少ない「もしかしてカテゴリー」の中だけ選択すれば良いので、非常に楽になりました。(「もしかしてカテゴリー」になかった場合は、従来通り、全カテゴリーの中から探すことです。)実際に計測したら工数を半分まで減らすことができたという結果になりました。分類するスタッフに聞いたところ、昔はメンバーによって判断のばらつきがありましたが、今は直感的に分類精度が上がったという話もありました。学習モデルの精度を上げるために、再学習の仕組みを導入しました。コンテナを起動し、モデルを再学習しています。コンテナがそのモデルに切り替えるように設定します。仕組みは以下のイメージです。これによって、状況が変わっても、モデルを劣化なく長期的に使うことができます。これからしばらく運用し、いつか完全に自動分類できるかもしれません。最後に今回は機械学習を用いてご意見分類業務を効率化した話を紹介しました。クックパッドでは機械学習を活用したくさんの問題を解決しています。このエントリを読んでご興味をお持ちいただけた方は、ぜひとも採用ページからご応募ください。機械学習チームの林田(@chie8842)です。モデルを学習...研究開発部の菊田(@yohei_kikuta)です。年が経ちましたR&D(研究開発部)部長の原島です。使ったセキュリティログ検索基盤の構築サービス特性にあった検索システムの設計戦略クックパッド採用説明会「クックパッドはサービスの作り手を採用したいんです。/*}*/スターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。