)本研究では鏡映変換に基づく埋め込み空間上の単語の属性変換を提案する。queen''といったアナロジーが成立することが知られている。このアナロジーを用いて入力単語xをmanからwomanに、またwomanからmanに変換することが可能である。アナロジーによる変換はxが男性か女性かどうかで演算が変わるため、xの属性に関する知識が必要となるが、そのような知識は無数にあるため全て付与することは不可能である。そこで本研究では、属性知識を用いず単語属性を変換するため、理想的な性質を持つ写像である鏡映変換を導入する。鏡映変換は同じ写像でベクトルの位置を相互に反転させる変換であるため、入力単語ベクトルが目的の属性を持つかどうかにかかわらず変換できる。性別属性を変換する実験の結果、提案手法は属性の知識を用いることなく、性別単語を45.8%の精度で相互に変換できることが示された。性別属性を持たない単語に鏡映変換を適用した結果、最大で99.9%が変換されず、鏡映変換は目的属性を持つ単語のみを変化させる非常に高い安定性を持つことが示唆された。)言語生成は、与えられた外部情報のセットに対して、自然言語文をドメインに適当な形で生成するタスクである。近年、言語生成に用いられるニューラルネットワークを用いた手法は、より自然で柔軟な応答生成が実現できることが知られている。一方で、入力となる外部情報に対応する文生成を単語予測のモデルで行うため、モデルがどの情報を利用し文を生成したかを説明することが難しい。そこで本研究では、与えた外部情報を生成文に反映することを保証するため、与えた外部情報を再予測するモデルと再予測の結果に対する損失を利用した。アノテーション済みのコーパスを用いた実験を行い、生成された文の評価と、生成文に含まれる情報の精度評価を行った。学術情報メディアセンター)モダリティ表現や事象の事実性などを正確に認識・解析することは、否定や推量などが含まれるテキストの言語理解や文生成を行ううえで重要である。本研究では、モダリティ表現認識器・事象の事実性解析器などをマルチタスク学習の枠組みを用いて同時学習する。これらのタスクは相互に関連しており、マルチタスク学習を用いてその関係性を自動的に学習することを目指す。実験では、同時学習による手法が単純な手法による精度を上回った。生コーパスを用いて事前学習することにより、さらなる精度向上を示した。鈴木潤(東北大学/理化学研究所),乾健太郎(東北大学/理化学研究所)Quizbowlは、複数の文からなるクイズ問題の入力に対して、正解となるエンティティを予測する質問応答タスクである。Quizbowlは超多クラス(数万クラス以上)の分類問題と見なすことができるが、その場合、訓練データの規模が限定的であるためにfew-shot学習の問題が生じる。訓練データにわずかな回数しか出現しないエンティティであっても、テスト時には正しく答えなければならない。この問題に対処するため、本研究では、1)大規模コーパスで事前訓練された言語モデルの利用と、2)Wikipediaを利用したデータ拡張を組み合わせたクイズ解答の手法を提案する。具体的には、1)汎用言語モデルBERTの複数の層が出力する分散表現を用いて、クイズ問題から正解エンティティへのマッピングを学習する。2)Wikipediaの記事の性質を利用して、テキスト-エンティティ対のデータを大量に生成し、擬似クイズ問題として訓練データに追加する。これらモデルとデータ両方向の拡張により、Quizbowlのクイズ解答の性能が大幅に向上することを実験的に示す。)本研究では、スタイル変換における少資源問題に取り組む。同一言語内の翻訳問題であるスタイル変換は、機械翻訳とは異なり訓練用のパラレルコーパスを大規模に収集することが難しい。この問題に対して、先行研究ではルールベースのデータ拡張や目的とするスタイルの機械翻訳とのマルチタスク学習が提案されているが、人手や特定のコーパスに依存するため他のスタイルへの拡張が困難であった。そこで我々は、任意のスタイルに適用可能な生コーパスに基づく転移学習のフレームワークを提案する。事前訓練では、生コーパスを折り返し翻訳した疑似言い換えコーパスを用いて、スタイルを考慮しない言い換え生成器を訓練する。続いて再訓練では、小規模なパラレルコーパスを用いて、言い換え生成器を目的とするスタイルへのスタイル変換に特化させる。GYAFCデータセットにおける評価実験の結果、提案手法がスタイル・ドメイン・モデル構造のいずれにも依存せず、常にスタイル変換の性能を大幅に改善することを確認した。詳細な分析の結果、高品質な折り返し翻訳を利用できない設定やターゲットドメインの生コーパスを利用できない設定でも提案手法は有効に機能し、再訓練のためのパラレルコーパスが1,000文対と非常に少ない設定でさえ高品質なスタイル変換を実現できることがわかった。このような自動採点手法では、採点済み小論文コーパスからモデルを学習する。小論文の採点では、各評点が評価者の特性(甘さ/厳しさなど)に依存することが多く、このような場合、学習される自動採点モデルが評価者特性の影響を受け、得点予測の性能が低下する問題がある。他方で、評価者の影響を考慮してスコアを推定できる数理モデルが近年多数提案されている。本研究では、この数理モデルで得られるスコアを予測するように自動採点モデルを学習する手法を提案する。提案手法を利用することで、コーパスを採点する評価者の特性に依存せず、自動採点モデルを学習できる。本論文では、実データ実験により提案モデルの有効性を示す。)一般的なニューラルテキスト分類モデルは、文をベクトル化する文符号化器と、文ベクトルを基に分類先の各ラベルが付与される確率を計算する分類器からなる。このようなモデルは、特定の単語が出現する文に対し、文意に関わらずその単語との共起頻度が高いラベルに分類しやすくなり過学習しやすい。これは、文符号化器が分類に強く寄与する単語を過度に反映した文ベクトルを生成するためであると考えられる。この課題に対し本研究では、同じ(異なる)ラベルを持つ文同士のベクトルはベクトル空間で近傍(遠方)に位置すべき,という直感に基づくマルチタスク学習手法を提案する。具体的には、共通のラベルを持つ文同士の文ベクトルが類似するように、文符号化器を通常のテキスト分類タスクおよび同一ラベル判別タスクのマルチタスク学習によって訓練する。同一ラベル判別タスクでは、コーパスからサンプリングした複数の文のうち、どれが入力文と同一のラベルを持つかを判別できるように文符号化器を訓練する。これにより、文符号化に特定の単語が過度に影響するのを抑制し、テキスト分類の性能を改善するような文ベクトルが得られると期待できる。提案手法の有効性を検証するため、単一ラベル分類のデータセット6つ、複数ラベル分類のデータセット3つそれぞれについて、2種類の文符号化器を用いて実験を行い、文書の複数ラベル分類のデータセットについて、1種類の文符号化器を用いて実験を行った。結果より、6つのデータセットについて全ての文符号化器で提案手法がベースラインを上回る精度を達成し、提案手法の有効性が示された。)近年の技術の進歩により、音声認識は人間に近い非常に高い性能を示しています。それらは与えられた音声をただ文字に起こすだけです。人間同士の対話では、発せられた言葉からその後に続く言葉を予測できることがあります。本研究では、深層学習を用いてそのようなタスクを実行できるシステムの構築を目指しています。