その目的語」などの簡単な文法関係から、照応関係などの複雑な文法関係も獲得している前書き現在の自然言語処理ではTransformer以降、Attention機構を用いたモデルが流行となっています。その中でも最近はBERTなどの巨大な事前学習済みのモデルが大きな成功を収めています。それらモデルが何を学習しているのかを分析する取り組みは行われてきましたが、モデルの出力自体や隠れ層でのベクトル表現に焦点を当てた分析手法が中心でした。この論文では、Attention機構が何を見ているのかに焦点を当てたモデルの分析手法が提案されており、BERTのAttention機構が何を見ているのか、そしてその他Attention機構を持つモデルをどのように分析すればよいかが記載されています。BERTにおけるAttentionまずはBERTに導入されているAttention機構がどういったものかを解説していきます。Needで提案されたTransformerというモデルで提案されたAttention機構がそのまま使用されています。Attentionと呼ばれています。embed_dim]の行列で積を計算することで系列全体の文脈を考慮し、sotfmaxによって全体の和が1になるよう重み付けがされ、その重みによって元の入力であるValueから値が文脈を考慮した形で取り出されるという計算になります。Attentionで生じうる勾配消失問題を解消するべくスケーリングを導入したものです。Attentionが実際にTransformerやBERTで用いられているAttention機構で、上記のような図で表現できます。大まかには以下の実験を行なっています。Heads)として順にまとめていきます。Headsが直前・現在・直後のうちのどのtokenに着目しているかを調べています。その結果、以下のことが分かりました。Tokens)に対する分析を行っています。図2のとおり、[SEP]に対するAttentionの値はかなり大きくなっています。気になる点として、以下の2点が挙げられます。・[SEP]と同様にかならず文中に含まれ、かつ学習中にmaskされることのない[CLS]とは明らかに異なる着目のされ方をしている。・またカンマやピリオドのような文章中に頻出するtokenとも異なる着目のされ方をしている[SEP]は文の区切りを表すので文章の区切り毎に情報を集約するために[SEP]に大きな注意が与えられているからという説が考えられますが、その場合は[SEP]からのAttentionが文全体に対してかかっていて欲しいのですが、図2から現在のtokenが[SEP]の時に他のtokenよりも[SEP]自身に対するAttentionの値の方が大きいことから先ほどの説はあまり有力ではありません。Networks)したところ、図3のような結果が得られました。図3から[SEP]トークンへのAttentionはほとんど出力に影響せず、そのAttentionで特に情報が得られなかった場合にとりあえず[SEP]に注意しているだけであることが分かりました。その一方でカンマ、ピリオド、その他maskされていないtokenは特徴量重要度で大きな値を示し、モデルの出力に影響します。AttentionここではAttentionが「いくつかの単語だけに強く注意している」、「多くの単語にわたって広く注意している」のどちらであるのかを検証します。Attentionの分布の平均のエントロピーを計算したところ、図4のような結果となり浅い層ではより広い範囲に着目していることが分かりました。Headsの出力は、文章のbag-of-vectors表現のようなものであると考えられます。Headsで[CLS]だけからのエントロピーを計算したところ、ほとんどの層では図中と同様な値をとっていたのですが、最終層のエントロピーだけは3.89と非常に大きな値を示しました。prediction)タスク」を解く際にこの[CLS]の表現を用いていることから、全文のより良い分散表現を得られているのだと考えられます。Headsを調べた章です。係り受け解析は単語と単語のつながりがどういった関係であるかを解析するタスクで、この場合は各単語がどの品詞にあたるのかに着目して分析しています。Headはある依存関係を捕らえられていることが示されています。Resolution)を行なっています。照応解析とは同一のものを指す2つ以上の名詞の関係を探し出すタスクで、例えば「BERT最高。これさえあれば何もいらない。」という文章における「BERT」と「これ」のような関係を見つけるタスクです。比較手法は以下の3つです。Headだけで文字列マッチングの精度を大きく上回り、ルールベースの手法に近い精度を達成しています。マッチングでは表現できないような曖昧な表現も獲得できています。これによりBERTは単純な構文関係だけでなく、より複雑な文法表現も獲得できていると考えられます。Headsが異なる文法の解釈を行なっているのであれば、BERTはそれらを組み合わせて文法の知識を獲得していると考えられます。Headsの出力のみを用いて識別器を構築し、それだけでどの程度のスコアを出せるのかを係り受け解析によって示しています。probeと大差がないことから、BERT自体のベクトル表現にはAttention以上の文法的な意味合いはほとんどないと言っても差し支えないと考えられます。Divergeneceでクラスタリングしています。図6の上の画像が性質による色分けで、下の画像が層ごとに色分けした結果です。Headsの性質は類似していることがわかります。振る舞いごと、層ごとのAttentionのクラスタリング結果まとめここまでBERTなどのAttention機構を持つモデルの解釈分析手法とその結果の解説を行ってきました。Headsは似たような性質を持つといったことがわかりました。いった体形だったBERTの分析が行われることで、従来では深掘りされてこなかった部分でのさらなる効率的なモデルの開発などに繋がることが考えられます。この論文はかなり体系的にBERTのAttention機構の解釈に力を入れていて、非常に読み応えがありました。読むのに苦労するかもしれませんが、それだけ力の入った良い論文だと思うので、本記事で事前知識を入れてからでも目を通してみてはいかがでしょうか。(cs.CL)この記事をシェアするLINE記事の内容等について改善箇所などございましたら、お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。Dee...モデルの脆弱性・様々な精度はデータセットの「粒度」でわ...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...Googleが公開した自然言語処理の最新技術、BERT...AI×絵師!彩ちゃんの裏側!...BERTはまだまだ進化する!軽くて強いALBERTが登...MuZeroの衝撃。囲碁のルールを自ら学習しAlpha...深層学習×マルチモーダル。Dee...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...モデルの脆弱性・様々な精度はデータセットの「粒度」でわ...AI×絵師!彩ちゃんの裏側!...Googleが公開した自然言語処理の最新技術、BERT...単語の挿入と削除を用いた新時代の文生成手法が登場...メタ学習の欠点を克服?教師なし学習とメタ学習を組み合わ...MuZeroの衝撃。Dee...MuZeroの衝撃。お取り扱いについて株式会社wevnal(以下「当社」といいます。)は、AI-SCHOLAR(以下「本サイト」といいます。)をご利用になる方(以下「ユーザー」といいます。)を遵守すると共に、以下のプライバシーポリシー(以下「本プライバシーポリシー」といいます。)に従い、適切に取り扱うものとします。本プライバシーポリシーにおいて、個人情報とは、生存する個人に関する情報であって、当該情報に含まれる氏名、生年月日その他の記述等により特定の個人を識別することができるもの(他の情報と容易に照合することができ、それにより特定の個人を識別することができることとなるものを含みます。)を意味するものとします。当社は、ユーザーの個人情報を、以下の目的で利用いたします。当社は、ユーザーの同意を得て、以下の提供先に、以下の提供情報内容を以下の手段又は方法で提供することがあります。(1)提供先について登録ユーザーが本サイトにおいて資料の請求、閲覧もしくはダウンロードする場合、その資料の提供元である本サイト掲載企業(当該提供元企業から委託を受けた者を含みます。所属企業ではなく、企業に所属する個人が提供元である場合もあります。)に、以下の情報が提供されます。電磁的な方法による送信また、次に掲げる場合は、関係法令に反しない範囲で、ユーザーの同意なく個人情報を第三者に提供することがあります。一部または全部を外部委託することがあります。委託先における個人情報の取扱いについては当社が責任を負います。当社は、個人を特定できないよう加工した統計データを作成することがあります。当社は、統計データを何ら制限なく利用することができるものとします。して、ユーザーご本人に限り、個人情報の開示、訂正、追加または削除、利用停止、ならびに第三者への提供の停止(以下「個人情報の開示等」といいます)を求めることができるものとします。以下の場合は個人情報の変更等に応じないことがあります。他の法令に違反することとなる場合また、当該個人情報の変更等に多額の費用を要する場合、その他の、個人情報の開示等を行うことが困難な場合であって、ユーザーの権利・利益を保護するため必要なこれに代わるべき措置をとるときは、個人情報の変更等に応じないことがあります。当社サービスは、Cookie及びこれに類する技術を利用することがあります。これらの技術は、当社による当社サービスの利用状況等の把握に役立ち、サービス向上に資するものです。Cookieを無効化されたいユーザーは、ウェブブラウザの設定を変更することによりCookieを無効化することができます。Cookieを無効化すると、当社サービスの一部の機能をご利用いただけなくなる場合があります。当社は、法令等の定めがある場合を除き、必要に応じて、本プライバシーポリシーを変更することができるものとします。プライバシーマークに関して当社は、プライバシーマークの認証を取得しています。パスワードをお忘れの。