✔️長文読解タスクであるRACEで人を超えるスコアを達成AIの研究が最も活発な分野のひとつに、私たちが使う言葉をAIに理解させようとする「自然言語処理」があります。いった実応用と密接に結びつくタスクが含まれますが、これらの研究はまさに発展途中で、日進月歩で様々な論文が発表されています。様々なタスクを高精度で解くという意味でこれまで最もよいされていたのは「BERT」と呼ばれるモデルで、AI-SCHOLARでも取り上げたことがあります。自然言語処理のタスクには様々な種類がありますが、人がそれらのタスクを個別に学習しないのと同様に、これらのタスクは言語に関するメタな知識を共有しているはずです。BERTはこのような仮説に基づき、言語そのものの知識を大規模なコーパス(テキストや会話の大規模データ資料)と事前学習によって獲得し、個別のタスクに特化した知識をファインチューニングで獲得します。双方向Transformerを効果的な事前学習とファインチューニングの組み合わせで学習させたことで、BERTはGLUEを始めとする様々な指標で当時の最高記録を更新し、研究者たちを驚かせました。Brainの研究チームから発表された「XLNet」は、事前学習とファインチューニングというアイデアを継承しながら、BERTをさらに上回る性能を達成したモデルです。今回はBERTの問題点と、それを解決したXLNetのアプローチを簡単に説明していきます。BERTの問題点BERTの事前学習ではマスク言語モデルを学習させており、文章中で15%の確率で空けられた穴([MASK]トークン)を埋めるタスクを解いています。これによって*双方向言語モデルの学習が可能になりましたが、2つの問題点が指摘されています。与えられた文章中の[MASK]トークンの箇所は同時に予測されるため、それらの間にある依存関係を学習することはできない2点目について簡単な例を考えてみましょう。guitar)など複数の可能性があり定まりません。day.のように[MASK]が1つなら答えは(tennis)に定まります。このような問題意識がXLNetのアイディアの元となっています。前後両方の文脈から参照単語を予測するモデル。前から文章を読んでいって次の単語を予測する、という場合は単方向になります。XLNet論文で提案された手法について、単語の並べ替えによる事前学習の方法とアーキテクチャの工夫を説明します。これは、BERT以前に使われていた自己回帰モデルを継承しながら、単語の並べ替えを行うことで双方向の文脈を取り込むというものです。“like”のような予測をさせるということです。論文では図1が対応しています。・アーキテクチャXLNetのアーキテクチャは、BERTで使われたTransformerの改良版であるTransformer-XLを元にしています。Transformer-XL自体の詳細は論文に譲りますが、過去の文脈をメモリに保持することと相対的な位置エンコーディングにより扱える系列の長さを飛躍的に伸ばしたというものです。XLNetの名前もここから取られています。self-attentionを提案しています。attentionは”tennis”を見ることができず、attentionのqueryとして”tennis”の相対位置エンコーディングを利用するだけです。これにより、ランダムな並べ替えをしても適切な単語予測が可能になります。位置エンコーディングはすべて並べ替え前のものを使います。結果XLNetは20のタスク全てでBERT超え、うち18のタスクで最高精度を達成しました。RACEという、中国の中高生向けの英語の読解テストから作られたデータセットです。センター試験やTOEICでも見かけるような、文章を読んで選択式の問いに応えるという形式のタスクです。人間にとっても簡単ではないですよね。ExaminationsこのタスクでXLNetはBERTを大幅に上回り、クラウドワーカーによるスコアも超えました。最新のリーダーボードはこちらで見ることができます。最後に、おなじみのSQuAD(質問応答)とGLUE(感情分類や固有表現抽出など9タスク)の結果を紹介します。これらからもXLNetの有効性が確認できます。他にも文章分類や文書ランキングなどのタスクの結果がありますので、興味のある方は論文をご参照ください。おわりに本記事では、マスクの代わりに並べ替えを利用した自己回帰モデルで双方向の文脈を取り込むようにしたXLNetを紹介しました。XLNetがRACEの記録を大幅に更新したのを見ると、似た形式の問題を含むTOEICなどの英語のテストもデータさえ揃えれば人並み以上のスコアが出せてしまうのではないかと期待してしまいます。BERTが話題になった2018年10月から8ヶ月にしてXLNetに破られ、また7月には早くもXLNetの記録を塗り替えたと主張するBERTの改良版「RoBERTa」が発表されました。めまぐるしく記録が更新されていくこの分野の発展に驚かされるとともに、最近は様々なタスクで人間超えを主張するモデルが多数登場していて、個人的には「言語能力をどうやって測るか」というより難しい問題が重要なフェーズになっていると思います。現在は難しいとされている対話や要約といったタスクも、今後攻略されていくのでしょうか?今後も自然言語処理の発展から目が離せません。(cs.LG)この記事をシェアするLINE記事の内容等について改善箇所などございましたら、お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。2年AI創薬を研究する学生。CV/NLP/RLなど機械学習を広く勉強しています。Dee...モデルの脆弱性・様々な精度はデータセットの「粒度」でわ...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...Googleが公開した自然言語処理の最新技術、BERT...AI×絵師!彩ちゃんの裏側!...BERTはまだまだ進化する!軽くて強いALBERTが登...MuZeroの衝撃。囲碁のルールを自ら学習しAlpha...メタ学習の欠点を克服?教師なし学習とメタ学習を組み合わ...深層学習×マルチモーダル。Dee...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...モデルの脆弱性・様々な精度はデータセットの「粒度」でわ...AI×絵師!彩ちゃんの裏側!...Googleが公開した自然言語処理の最新技術、BERT...単語の挿入と削除を用いた新時代の文生成手法が登場...メタ学習の欠点を克服?教師なし学習とメタ学習を組み合わ...MuZeroの衝撃。Dee...MuZeroの衝撃。お取り扱いについて株式会社wevnal(以下「当社」といいます。)は、AI-SCHOLAR(以下「本サイト」といいます。)をご利用になる方(以下「ユーザー」といいます。)を遵守すると共に、以下のプライバシーポリシー(以下「本プライバシーポリシー」といいます。)に従い、適切に取り扱うものとします。本プライバシーポリシーにおいて、個人情報とは、生存する個人に関する情報であって、当該情報に含まれる氏名、生年月日その他の記述等により特定の個人を識別することができるもの(他の情報と容易に照合することができ、それにより特定の個人を識別することができることとなるものを含みます。)を意味するものとします。当社は、ユーザーの個人情報を、以下の目的で利用いたします。当社は、ユーザーの同意を得て、以下の提供先に、以下の提供情報内容を以下の手段又は方法で提供することがあります。(1)提供先について登録ユーザーが本サイトにおいて資料の請求、閲覧もしくはダウンロードする場合、その資料の提供元である本サイト掲載企業(当該提供元企業から委託を受けた者を含みます。所属企業ではなく、企業に所属する個人が提供元である場合もあります。)に、以下の情報が提供されます。電磁的な方法による送信また、次に掲げる場合は、関係法令に反しない範囲で、ユーザーの同意なく個人情報を第三者に提供することがあります。一部または全部を外部委託することがあります。委託先における個人情報の取扱いについては当社が責任を負います。当社は、個人を特定できないよう加工した統計データを作成することがあります。当社は、統計データを何ら制限なく利用することができるものとします。して、ユーザーご本人に限り、個人情報の開示、訂正、追加または削除、利用停止、ならびに第三者への提供の停止(以下「個人情報の開示等」といいます)を求めることができるものとします。以下の場合は個人情報の変更等に応じないことがあります。他の法令に違反することとなる場合また、当該個人情報の変更等に多額の費用を要する場合、その他の、個人情報の開示等を行うことが困難な場合であって、ユーザーの権利・利益を保護するため必要なこれに代わるべき措置をとるときは、個人情報の変更等に応じないことがあります。当社サービスは、Cookie及びこれに類する技術を利用することがあります。これらの技術は、当社による当社サービスの利用状況等の把握に役立ち、サービス向上に資するものです。Cookieを無効化されたいユーザーは、ウェブブラウザの設定を変更することによりCookieを無効化することができます。Cookieを無効化すると、当社サービスの一部の機能をご利用いただけなくなる場合があります。当社は、法令等の定めがある場合を除き、必要に応じて、本プライバシーポリシーを変更することができるものとします。プライバシーマークに関して当社は、プライバシーマークの認証を取得しています。パスワードをお忘れの。