現在、転職会議のチーフプロダクトマネージャーとして開発・マーケティングを統括しております。記事をAdventCalenderに投稿しましたが、今年も自然言語処理を用いて転職に役立ちそうな機能のプロトタイプを作ってみました。転職会議は国内最大規模の転職クチコミサイトということもあり、企業によっては数百件、数千件のクチコミがあります。ぶっちゃけ全部読むのタルいし雰囲気をまずざっくり知りたいというニーズもあり、課題となっています。いう技術を用いました。重要と考えられる複数の文を「抽出」することで要約を生成します。PageRankは「多くのサイトからリンクされているサイトはきっと良いサイトだろう」という考え方ですが、LexRankの場合は「文章の中で似ている文が多い文はきっと文章で言いたい内容に近いんだろう」という考え方です。誤解を恐れずざっくりいうと「大事なことなので(以下略」っていうアレですね笑。LexRankの算出は具体的には以下のような処理を行うため、これをどう実現したかを書きます。TFIDFモデル生成等の前処理は以下のような感じで行っています。load_reviews_and_split_to_sentences(target_company_id)TFIDFモデル生成のコードは以下の通りです。辞書は準備していませんが、頻出単語やめったに使われない単語を無視するなどの最低限の処理は行いました。準備が整ったら、以下のように要約を実行していきます。次のようなことを行っています。Pythonコード参考コードは以下の通りです。コードをかなり参考にしました。準備が整ったので、上記のコードと転職会議のクチコミを用いて行ったテスト結果を書いていきます。今回は、今年Switchが大ヒットした任天堂さんのクチコミを使ってテストを行ってみました。いう指標が良く使われますが、正解データを作っていないため今回は精度評価は行いませんでした。記事が分かりやすかったです。代わりと言っては何ですが、MMRあり/なしで冗長性排除の効果を見ておきます。任天堂さんMMRあり最初に、MMRありの場合の要約です。見るからに待遇良さそうで羨ましいですwただゲームをやるのと作るのは全く違うのでゲーム好きだからという理由だけで入るのは続かないかもしれませんさすがの大企業だけに福利厚生はとても満足のいくものです開発部署においては、女性はデザイナーである事が多く、専門的な技術を持つ人が多いため、女性の出産、育児休暇後の復職率は高いです同業界の他会社を知らないのでなんとも言えませんが、休暇制度や福利厚生は整っている会社だと思います昇進については一般的な企業とそれほど変わらないと思っていただいていいとおもいます風通しの良い社風で、社員の方もいい人が多かったです自分はあまり成功した方ではありませんが同期と比べてボーナスも変化はなかったのでそちらに影響はでないようですワークライフバランスについては、やはり大手企業なので、プライベートと仕事の時間が多く取れました学歴重視はありますが、面接ではちゃんと人をみてくれていると感じました待遇面においては全く不満がありませんでしたMMRなし次に、冗長性排除しなかった場合の要約です。昨年から課題感があまり変わっていないのですが、上記の手法では「残業多い」「残業少ない」などを考慮しません。よって、残業が多い会社でも「残業が少ない」という言及がある文がたまたま要約に入ってきたりすると転職希望者さまの判断にミスリードをしてしまう可能性があります。このあたり、文の極性判定などで比較的簡単に処理できる可能性もあるので、そのような可能性も含めて今後改善していきたいと思います。まとめいかがだったでしょうか?今回は、自然言語処理を用いて転職会議内に存在する大量のクチコミからサマリーを抽出するという手法をご紹介しました。このあたりを是非仕事でやってみたい、というエンジニアやプロダクトマネージャーの方がいらっしゃいましたら、是非、コチラから採用情報をご覧頂くか、コチラからカジュアルにご連絡いただければ幸いです。upLoginユーザーは見つかりませんでした。