NLPTwitterFacebookHatenaPocketNLP若手の会(YANS)第14回シンポジウムに参加したレポートです。革新知能統合研究センター)ポスター所感おわりにはじめにオプトでデータサイエンスエンジニアをやっています兵頭(@fhiyo)です。R&Dを行っています。28日(水)で札幌で開催されたNLP若手の会(YANS)第14回シンポジウムの聴講をしたのでレポートします。交流を促進し、若手のアクティビティを高めることを目指したコミュニティです。年一回のペースでシンポジウムを開催しており、萌芽奨励賞という「これから」の研究を奨励する賞があることからわかるように、研究成果の発表・報告だけでなく構想段階の研究のブラッシュアップの場としても機能している様子でした。合宿形式での開催になっていたり、ハッカソンなど参加者同士の交流ができるイベントが多数開催され、研究者同士の交流を促進できるようなプログラムになっていました。若手の会とあるように、参加者の半数以上を学生が占めており、全体的に勢いのある雰囲気が印象的でした。三日間のプログラムの概要です。(5)奨励賞・ハッカソン発表・投票クロージング上記の通り、ポスター・デモ発表が多くあり、活発にディスカッションがなされていました。聴講し、筆者が個人的に記したメモをまとめ直したものを記載します。個人のメモであり、内容の正確性は保証できません。スライドへのリンクがありますので講演内容はそちらをご参照ください。https://www.slideshare.net/JunSuzuki21/2019-0826-yansinvitedtalkトップ国際会議への論文採録に目標を絞ったときのノウハウの共有、という主旨でした。キャリアに悩む若手にとってかなり気になるテーマだと思います。数年前と比較し、トップカンファレンスの採択率は大きく変化していない一方投稿数が激増していることから、採択数が激増していることが分かります。「論文を仕上げるコスト」も高くなっている、ということでした。注意点といった内容が続きました。印象的だったこととして、査読システムのお話がありました。論文投稿数が激増しているのだからそれだけ査読者の方の負担は大きくなっているであろうことは想像できます。発展に時間と能力を割いて頂いてるのは大変ありがたいことだな、と聞いていて感じました。サーベイは論文の内容を把握するだけではもったいない、この研究を発展させるとするとどうなるか?自分の研究に利用したら何が実現できるか?のような疑問と解決策を常に考える、というお話も心に残りました。私は課題解決のために論文のサーベイはしますが、論文の内容を発展させるとどうなるか、という観点であまり見れていなかったので意識していきたいです。https://drive.google.com/file/d/1SZci0debZFCS9SlHwii1ivBvZlrTHumO/view自然言語処理の研究の歴史を松本先生のご経験をもとに概観し、技術の変遷によりどのような問題が解決され、どのような問題が残っているかを確認し、今後の自然言語処理に関する取り組みについて論じていく、という内容でした。アプローチへ移り、中でも近年は深層学習を利用したものへと変遷しています。技術が進むにつれて人間が明示的に記述したルールに頼らない、End-to-Endで処理をする解析手法が発展していきました。文脈によって動的に単語のベクトル表現を獲得できるようなELMo4やBERT5といった手法を開発することで単語同士の関係性や文脈情報を表現できるようになりました。これにより機械翻訳などの難しいタスクに対しても対応できるようになっています。解決すべき課題も多くあります。(例えば、「身長は170cmです」という文は"約"170cmであるという意味が内包されているがそれをどうやって決めるか、という問題がある)。End-to-Endな手法を用いたモデルは出力の理由や確信度の説明能力が現状低いため、ビジネス上の課題解決の際に頻出する、理由や原因を示してほしいという要望に応えることが難しいです。スライドの終わりにあった「できるはずのことをできるようにする」という文言が印象に残っています。人間がほとんど意識せず使用している自然言語を計算機で扱えるようにするにはまだまだ課題はありますが、解決に向けて日々活発に研究されており、応用上需要も高い分野に携われるのは幸運なことなのだな、と感じました。(ここも誤解している部分ありましたらすみません)。文法誤り訂正のタスクにおいて、訂正の難しさを複数のモデルに解かせたときの誤り率で定義し、誤り率を重みとした重み付きprecisionと重み付きrecallを計算するような評価尺度を提案した。タスクの難易度に応じた重み付けをした評価尺度を設定するのは応用研究でも使える方法だと思います。各モデルの得意・不得意の分析も解釈性の面で発展していきそうだと感じました。デジタル広告におけるクリエイティブのうち、広告文の自動生成を行った研究。Networks6やTransformer7など4つのモデルを用いて訓練・生成を行い、自動評価と人手評価を行った。選ばせ、その平均や分散などの統計量を出す方法ではなく、妥当性や流暢性などの指標に基づいて広告セットをランキングしてもらい、その結果をTrueSkillTM8というアルゴリズムを用いてスコア化することで各モデルの性能スコアを算出している点が面白いと感じました。分析者が設計したスコアを選択させるアンケート手法は、設問の順番やスコアの間隔が等間隔でない可能性があることに個人的にモヤモヤしていたので、この違和感を解決する大変参考になる手法でした。おいて、変換対象の単語がどういう属性を持っているかの事前知識なしでも変換が可能になるように鏡映変換という手法を提案している。単語に対して変換するような関数が作れるならばかなり面白いと思います。おわりにポスター、招待講演以外にもハッカソンやナイトセッションがあり、夕食時も多くの人と話せるように取り計らいがなされていました。イベントのたびにNLP界隈の色んな方とお話ができたので非常に有意義な時間でした。私は自然言語処理に携わるようになってまだ日が浅いですが、今回のシンポジウムを通して自然言語処理の面白さを強く感じました。運営の皆様、議論やお話に付き合っていただいた皆様に感謝いたします。我々データインテリジェンスチームは広告クリエイティブや配信に関わる自然言語処理や画像、最適化などの分野に対して応用を見据えた研究開発を行っています。ご興味のある方はぜひご連絡ください。Technologiesは株式会社オプトのエンジニア組織です。エンジニアの1日スターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。