IntegrationBaidu(バイドゥ)が、中国語に特化した汎用的な分散表現獲得のための機構「ERNIE」を今年3月に発表しました。Googleが昨年発表したBERTの流れを汲んだ研究で、BERTが中国語を扱う上での問題点を解決したモデルとなっています。AI-SCHOLARでは以前、BERTについて以下の記事を掲載しました。今回はこのBERTが抱える中国語における弱点を克服したモデル、ERNIEについてご紹介します。ERNIEはBaiduから発表されており、Githubにおいてコードも公開されています。ERNIEは複数の中国語タスクで評価され、BERTを上回ることが報告されています。ERNIEが着眼した中国語の問題は、日本語を取り扱う上での問題とも重なるため、ERNIEの理解は日本語を取り扱う我々にとっても重要です。日本語に応用することで、BERT以上にタスクを解く精度が向上するかもしれません。分散表現獲得の重要性BERTはあらゆる自然言語処理タスクに応用することができる、汎用的な分散表現の獲得を行う機構です。分散表現とは単語や文をベクトルとして表現したもので、似た表現に似たベクトルを与えることがタスクの精度向上に寄与すると考えられています。直感的には、国語の勉強をする前にたくさん本を読んでおくことで点数の向上が見込まれるといった感覚です。詳しくは以下の記事にて解説しているため、ご参照ください。Googleが公開した自然言語処理の最新技術、BERTとは何者なのか自然言語処理における重大な問題として、タスクを学習するためのデータセットが限られているというものがあります。一方で、タスク学習を目的としていない、すなわち何も手を加えられていない「生」の自然言語データはインターネット上で大量に収集することができます。した状況は自然言語処理の特徴ともいえます。BERTなどの分散表現獲得機構を用いて大量の自然言語データを事前に学習することで、少量のデータセットでもタスクに最適なモデルを作成することができると考えられています。この分散表現獲得機構をより優れたものにすることで、タスクを解く精度も向上すると期待されています。ERNIEは中国語においてBERTを上回るような優れた分散表現獲得機構として発表されています。BERTの中国語における問題点ERNIEはBERTの中国語における問題点を克服する形で提案されているモデルです。最先端の自然言語処理では英語などのアルファベットを用いて表記する言語を主に取り扱っているため、中国語や日本語といったアジアの言語特有の問題に対処できていない傾向があります。Baiduは「BERTにおける入力単位が中国語の単語と一致していない」という問題に注目しました。こちらの記事でご紹介した通り、BERTでは穴埋めクイズを用いて分散表現の獲得を行います。穴埋めクイズではランダムに単語をMASKというトークンに置き換え、本来の単語を前後の文脈から予想します。この単語という単位は、英語では以下のようにスペース区切りの単語となっていました。.ここでは例として、likeという単語がMASKトークンに置き換えられている(=隠されている)とします。BERTでは前後のIとyouから、マスクされたloveを予想します。これだけの情報でlikeを予想することは難しいですが、少なくとも動詞として使われる単語の確率が高くなるような予想となります。この穴埋め問題を学習することで、BERTは「likeは他の動詞と同じような文法において用いられる」ことを学習します。likeはほかの動詞と同じような文法規則において出現するという情報が学習されます。一方で中国語においては、単語がスペースによって明示されていないため、文字ごとに[MASK]に置き換えるといった穴埋めクイズが生成されます。.の例であれば、以下のような穴埋めクイズを解くことになります。你ここでBERTはマスクされた「喜」を当てる穴埋めクイズを解くことになります。この状況では「欢」が見えてしまっているため、「喜欢(like)」という単語の一部として「喜」を当てることが可能となってしまいます。これでは英語の時のような文法規則の学習が期待できません。単語レベルを意識した学習この問題を解決するために、ERNIEでは実際に用いられる単語レベルの区間を考慮したマスキングによる穴埋め問題を解くようにBERTを改良しています。従来のBERTでは文字ごとにマスキングを行っていたのに対し、ERNIEでは単語として連続する文字列はすべてマスクするように変更されています。具体的には、以下のような入力の差が生まれます。你このようにすることで、英語でlikeの穴埋め問題を解いていたのと同じような学習効果が期待されます。いった接尾辞や接頭辞を共有する単語に対しても、効率的な学習を行えるようになります。対話データを用いた学習ERNIEでは、BERTを用いた事前学習では取り扱えないような種類のデータについても取り込めるようにモデルの改良を行っています。Model(DLM)という手法を採用しています。これは二者間で交互にやり取りされる対話テキストにおいて、対話における話者の役割を学習することができるモデルです。対話における自然言語では、より単語や文の意味理解が重要となるため、これを学習することで分散表現をより豊かにしようという目的から、DLMは導入されています。BERTはWikipediaやニュースなどの単一話者によるデータしか学習対象にできなかったため、学習可能データを拡大したERNIEはさらに多くの情報を分散表現に詰め込むことができると期待できます。機械による穴埋め形式の読解タスクにおいて、ERNIEはBERTでは導き出せないような解答を生成できると報告されています。BERTが文脈に出現した人名や、問題に関係のない人名を穴埋めの予測候補に出している一方で、ERNIEが正しい答えを予測していることを示されています。穴埋め部分に入る単語についてよく理解していないと解けないという問題設定にしているため、このことからERNIEがBERTよりも中国語をよく理解していると考えることができます。中国語を用いた主要なタスクにおいても、ERNIEはBERTの性能を上回っていると報告されています。表においてXNLIは言語推論タスク、LCQMCは二つの質問が同じことを言っているのかを分類するタスク、MSRA-NERは固有表現抽出、ChnSentiCorpは感情分析、NLPCC-DBQAは質問に答えるための文を選択するタスクです。(表はgithubより引用。一部中国語から日本語に翻訳。)なお、ERNIEによって導入された穴埋めクイズの改良とDLMの一方ずつを適用した評価は行われていないため、実際にどちらが大きくモデルの精度向上に寄与したのかは、発表の中では不明となっていることに注意してください。まとめERNIEは中国語特有の問題に絞ってBERTを改良した研究です。中国語と日本語は単語分割が明確ではない点や、文字そのものが意味を持つ表意文字を含むという点で非常に似ています。ERNIEを日本語に応用することで、BERT以上にタスクを解く精度が向上するかもしれません。ERNIEに続き、日本語特有の言語問題を解決するようなモデルについても、考えてみると面白いかもしれません。この記事をシェアするLINE記事の内容等について改善箇所などございましたら、お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。この記事を書いた人tat博士後期課程で自然言語処理の研究をしています。自然言語処理に関する論文を紹介しています。月間GANの発展の歴史を振り返る!GANの包括的なサーベイ...レンダリングを応用した画像セグメンテーション「Poin...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...機械学習のためのデータ収集に新たな希望!?半教師学習の...教師あり学習の精度を超えた!?相互情報量の最大化による...たった2行で画像認識モデルの精度向上!?新しいData...「PEGASUS」文章要約に特化した自然言語処理モデル...パラメータ数を激減させる新しい畳み込み「MixConv...Googleが公開した自然言語処理の最新技術、BERT...深層学習×マルチモーダル。お取り扱いについて株式会社wevnal(以下「当社」といいます。)は、AI-SCHOLAR(以下「本サイト」といいます。)をご利用になる方(以下「ユーザー」といいます。)を遵守すると共に、以下のプライバシーポリシー(以下「本プライバシーポリシー」といいます。)に従い、適切に取り扱うものとします。本プライバシーポリシーにおいて、個人情報とは、生存する個人に関する情報であって、当該情報に含まれる氏名、生年月日その他の記述等により特定の個人を識別することができるもの(他の情報と容易に照合することができ、それにより特定の個人を識別することができることとなるものを含みます。)を意味するものとします。当社は、ユーザーの個人情報を、以下の目的で利用いたします。当社は、ユーザーの同意を得て、以下の提供先に、以下の提供情報内容を以下の手段又は方法で提供することがあります。(1)提供先について登録ユーザーが本サイトにおいて資料の請求、閲覧もしくはダウンロードする場合、その資料の提供元である本サイト掲載企業(当該提供元企業から委託を受けた者を含みます。所属企業ではなく、企業に所属する個人が提供元である場合もあります。)に、以下の情報が提供されます。電磁的な方法による送信また、次に掲げる場合は、関係法令に反しない範囲で、ユーザーの同意なく個人情報を第三者に提供することがあります。一部または全部を外部委託することがあります。委託先における個人情報の取扱いについては当社が責任を負います。当社は、個人を特定できないよう加工した統計データを作成することがあります。当社は、統計データを何ら制限なく利用することができるものとします。して、ユーザーご本人に限り、個人情報の開示、訂正、追加または削除、利用停止、ならびに第三者への提供の停止(以下「個人情報の開示等」といいます)を求めることができるものとします。以下の場合は個人情報の変更等に応じないことがあります。他の法令に違反することとなる場合また、当該個人情報の変更等に多額の費用を要する場合、その他の、個人情報の開示等を行うことが困難な場合であって、ユーザーの権利・利益を保護するため必要なこれに代わるべき措置をとるときは、個人情報の変更等に応じないことがあります。当社サービスは、Cookie及びこれに類する技術を利用することがあります。これらの技術は、当社による当社サービスの利用状況等の把握に役立ち、サービス向上に資するものです。Cookieを無効化されたいユーザーは、ウェブブラウザの設定を変更することによりCookieを無効化することができます。Cookieを無効化すると、当社サービスの一部の機能をご利用いただけなくなる場合があります。当社は、法令等の定めがある場合を除き、必要に応じて、本プライバシーポリシーを変更することができるものとします。プライバシーマークに関して当社は、プライバシーマークの認証を取得しています。パスワードをお忘れの。