この記事はエムスリーアドベントカレンダー1日目の記事となります。最近のニューラル文章要約モデルについてその概要と代表的な論文をご紹介させていただきます。モデルまず、要約モデルの基礎となる系列変換モデルについて簡単に紹介させてください。モデルが元になっています。このモデルは系列を入力として系列を出力する機構になっています。呼ばれる図左側の青い部分で入力を順番に受け、入力分の情報を詰め込んだベクトルを作成します。呼ばれる図右側の緑色の部分へ入力され、順次出力が生成されます。系列変換モデル学習させる入力・出力系列の組み合わせを変えることでモデルを翻訳モデルにも、要約モデルにもすることができます。下図のように英文から日本語の文章を生成するように学習させれば翻訳モデルとみなせ、多数の英文から内容をまとめた少数の英文を生成するように学習させれば要約モデルとみなすことができます。系列変換モデルを初めてお聞きした方は下記スライドに目を通していただきザックリとした概要を理解してもらえればと思います。観点から大きく4つに分類することができます。抽出・抽象要約についてその概要と代表的な論文についてご紹介させていただきます。抽出・抽象要約の例を下図に示します。抽出要約の場合、ドキュメント内で重要なセンテンスを選びそれを要約とします。一方で抽象要約は新たにセンテンスを作成しなくてはならないので、抽出要約よりも難しいタスクになります。要約モデルの学習に用いるデータセット要約モデルを作るには何はともあ、学習するデータセットが必要になります。記事とその要点をまとめた人が作成した幾つかのセンテンス(参照要約)がペアになっています。文章要約モデルようやく本記事の主題になります。モデルを要約学習データセットで学習させることで、要約モデルを得る事ができます。それでは順にみていきましょう。抽出要約モデルは、記事の全センテンスが入力として与えられた時に、要約として用いるべきセンテンスを当てられるように学習します。人が作成した参照要約が与えられていますが、どのセンテンスを抜き出せば良いかは示されていません。一致率が最も高いセンテンスを抽出するべきセンテンスとする正解ラベルを作成します。確率1を、それ以外には確率0を出力するようにモデルを学習させます。学習済みのモデルでの抽出要約結果は下の様にになります(学習には用いていないテスト用のデータ)。参照要約の数と同じになる様に、推定された抽出確率上位3センテンスを抜き出しました。人が作成した要約センテンスと見比べてみると、概ね記事の主張を捉えたセンテンスを抽出できている一方で、センテンスをそのまま抜き出してしまっているので、要約として読むには長くなっています。抽出要約では記事中のセンテンスをそのまま用いるため、記事の内容を人のように"端的に"要約することができません。そこで研究されているのが抽出要約になります。手順を繰り返すことで、要約センテンスを作成。用い、参照要約を全て繋げたものを生成する確率が高くなる様にモデルを学習させます。学習済みのモデルでの抽象要約結果は下の様になります。抽出要約に対して用いたものと同じ記事対して要約文を1つ生成しました。抽出要約に対してセンテンス長は短くなったものの、一から生成しているため元の記事の内容を正しく伝えられていません。英文としてもぎこちなくなってしまっています。抽出要約では記事の内容を端的に表現できない一方で、抽象要約では正しく記事の内容を伝えることが難しい。そこで今年登場したのが、抽出要約と抽象要約を組み合わせた手法です。(詳細については最下部参考に貼らせていただいたスライドをご参照下さい)抽出要約モデルで記事の内容を表すセンテンスを抽出した後にそれらをより短いセンテンスに書き換えることで。人が作成するような端的かつ正しい要約を生成することを考えます。抽出要約モデルでは抽出するべきセンテンスを当てられるように、抽象要約モデルは、抽出されたセンテンスから人が作成した参照要約センテンスを生成できるようにそれぞれ学習させます。対して、本モデルでは2段階の学習を行います。本手法の肝となる強化学習手法を適用する部分。学習済みのモデルでの要約結果は下の様になります。抽出・抽象要約に対して用いたものと同じ記事対して参照要約と同じ3つの要約文を生成しました。1サンプルのみですが、参照要約と比べてみても遜色なく、記事の意味を的確に捉えており英文としても問題ない要約が生成できています。手法の論文について外部勉強会で発表させていただいた時のスライドになります。要約タスクについてより細かい詳細と、ニューラル文章要約モデル以外の要約モデルについてまとめて下さっています。概要を掴めると思います。並んで要約も日々研究が行われています。等も公開されています。様々な魅力的な課題があり今後も要約関連の研究からは目が離せません。!エムスリーでは医師の方々に日々のニュースから、学術論文の解説まで様々な情報をお届けしています。...2019-03-27GAE/Goで技術書典むけのダウンロードカードアプリを作ったエンジニアリンググループの滝安(@juntaki)です。AI・機械学習チームの笹川です。月別アーカイブ注目記事はてなブログをはじめよう!m3techさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。