system.こんにちは、ClovaチームのTungです。Waveなどといったスマートデバイスに搭載されている私たちのAIプラットフォームです。製品の詳細についてはこちらをご覧ください。Transformer、BERTについて振り返りたいと思います。各モデルそれぞれの内部解説はインターネット上にあったりしますが、今回は少し異なった見方を持って来ることを試みます。全モデルのアーキテクチャーの特徴を比較しながら言語学習との関係を検証した論文について紹介して行きます。言語モデルとは簡単に言えば、言語モデルは、(自然な)言語のトークンのシーケンスにわたる確率分布を計算するためのモデルです。個のトークンを組み合わせた数が非常に多いため「次元の呪い」問題によって性能が厳しく制限されています。ニューラルネットワークに基づくより新しいモデルは、分散表現、すなわち次元の呪いを軽減することができるトークンの低次元ベクトル表現を利用する。Word2vecはその有名な一例です。言語モデルを気にするべきなのか転移学習と呼ばれる非常に効率的な学習方法に適用できるからです。転移学習の事前学習段階では多くのデータを、多くの場合は教師なしで、トレーニングすることができます。その後、事前にトレーニングされたモデルを適用して下流タスクを効率的に学習することができます。これらの下流タスクは教師あり学習タスクが多いが、学習に必要なラベル付きデータが不足するケースが少なくありません。転送学習は、事前に訓練されたモデルで膨大なデータから学んだ知識を活用することによってこの問題を解決できます。先に述べたWord2vecは実際には転移学習の一例であり、しかも様々NLPタスクに適用可能な汎用的なものです。それ以来、研究者たちはさらに良い転移学習の方法を探し続けてきました。2018年の言語モデル2018年の言語モデルはどれぐらい優れているのかさまざまなNLPタスクでstate-of-the-artを達成したという実績によって汎用性を持っていると言われています。全4モデルの論文と公式ウェブサイトから入手可能なスコアを簡単な比較のために一箇所にまとめました。MNLIに似たバイナリ含意タスク。–アーキテクチャ比較4つの言語モデルのうち、2つはLSTMベースで、他の2つはTransformerベースです。LSTMとTransformerが言語モデルの作成に使用されるのでしょうか。以下のセクションで、それらの構造の言語能力がどのようなものであるかを調べます。Memoryを表し、これは特殊なタイプのリカレントニューラルネットワークです。LSTMについての非常に良い紹介が(英語ですが)ここにあります。アーキテクチャ的には、その再帰性はシーケンシャル処理に適しており、テキストシーケンスの処理に自然に適合します。双方向や注意などの追加のメカニズムは、多くのNLPタスクでLSTMをさらに成功させるのに役立ちました。ブラックボックスを解除するLSTMの学習機能に関する最近の活発な研究があります。ロードするのにしばらく時間がかかるかもしれません)で言及された論文からいくつかの重要な結果を紹介します。詳細については、以下の原著論文を参照してください。)近所および遠方といった2種類の区間がありますさまざまな種類のトークンの予測には、多かれ少なかれコンテキストが必要ですターゲットトークンの削除と置換は、言語モデルの評価基準の一つであるperplexityに異なる影響を与えます実用的なお持ち帰りLSTM、特に言語モデルの場合に使用される教師なしLSTMは、言語機能を学習できますコンテキストやトークンの種類によってLSTMの学習には異なる影響があります。)とキャッチーなタイトルがつけられているにもかかわらず、Transformerアーキテクチャーにおける注意メカニズムのより深い理解にはまだもっと多くの研究が必要です。Transformerの詳細を調べた興味深い論文をいくつか紹介します。Translation)に関するものですが、言語学習能力の分析にも役立つ情報を提供しています。need」の論文では、遠いコンテキストへの依存関係を効率的にモデル化する能力が注意の重要な属性と考えられています。肯定的な答えが以下の論文に示されています。LSTMセクションの「異なるコンテキスト」の結論にお気づきになられたかと思えます。TransformerのアーキテクチャーもLSTMと同様に、異なるコンテキストに対して同様の依存関係を持っていると仮定します。Transformerよりも学習できていることを意味しています。今年はこのトピックに関するさらなる研究を期待しましょう。言語モデルを事前に学習した後は、それを他の下流タスクに適用するための2つの一般的な方法があります。1つは特徴ベクトルベース、もう2つは微調整(fine-tuning)です。原則として、両方の方法を4つのモデルすべてに使用できます。機能ベースこの方法はタスク固有のニューラルネットワークモデルを利用します。通常、事前に訓練された言語モデルの適切なレイヤーで構成される潜在ベクトルを追加します。以下の図に示すように、テキスト分類のためにELMoからCNNモデルに潜在ベクトルを追加できます。Classification」(Kim、2014)このモデルの長所と短所は次のとおりです。Transformerの例のように、事前にトレーニングされたネットワークといくつかの単純な線形レイヤの統合アーキテクチャを使用できます。事前に訓練されたネットワークは、タスク固有のデータセット上の追加線形層とともに再訓練(微調整)されます。2018)このモデルの長所と短所は次のとおりです。大きい事前訓練済みモデルを再訓練するため、より多くのリソースが必要(より高い得点とのトレードオフとして)提供する場合、より長い待ち時間が予想されるSummaryエンジニアリングの観点からいくつかの実用的な結論をまとめてみましょう。Developers。