✔️「人間には簡単だが、AIには難しい」新しい質問応答データセットが作成されたディープラーニングを用いた自然言語処理の手法によって、文書読解や自然言語理解などの様々なタスクで、AIのモデルが人間と同等、もしくは人間を超える性能を獲得しはじめています。文書読解のデータセットSQuADのリーダーボードや、自然言語理解のデータセットGLUEのリーダーボードをみれば、これらのデータセットでAIのモデルが実際に人間を超える性能を出したことが分かります。AIは本当に言語を理解していると言えるのか、というと、多くの研究者は、そうではないと答えるでしょう。現状のAIは、言語を理解するのではなく、言語の表層的なパターンをデータセットから学習することで、高い性能を獲得していると考えられているからです。した背景から、より深い言語の理解を行わないと解けない新しいデータセットの開発が進んでいます。このような現状のAIが間違えやすいものを集めたデータセットは、敵対的(adversarial)なデータセットと呼ばれていて、AIの研究における一つのトレンドにもなっています。敵対的なデータセットはどのように作成したら良いのでしょうか。従来の研究では、単にデータセットから簡単な問題を除外したり、問題をなんらかの方法で自動的に書き換えることで、敵対的なデータセットの作成を行っていました。データセットを自動的に作成する手法では、単純なものしか作成できず、より複雑な問題を作成する手法が求められていました。この記事で紹介する論文では、人間がAIを騙そうと試行錯誤しながら、敵対的な質問応答のデータセットの作成を行う方法を提案しています。AIの挙動や推論結果を確認できる専用のウェブインターフェイスを開発し、そのインターフェイスを用いて、人間が、AIはどんな問題だとうまく解けないのかを把握し、試行錯誤しながら問題を作成することで、新しい敵対的な質問応答のデータセットを作成しています。データセットの作成この論文では、「クイズボウル」と呼ばれる形式で、質問応答のデータセットを作成しています。クイズボウルは、日本での知名度はあまり高くありませんが、英語圏を中心に普及している最もポピュラーな競技クイズの形式の一つで、早押し形式であることが特徴になっています。(Wikipedia)この論文で面白い点の一つは、AIが解きにくい問題を作成するためのウェブインターフェイス(下図)を開発し、そのインターフェイスを通じて、人間(クイズライター)がクイズを作成している点です。クイズライターは、問題を右上のボックスに入力しながら、問題に対するAIの予測(左側)や、AIが予測を行った根拠(右下)を見ることができます。これによって、データセットやWikipediaの中に回答の強い根拠となるような記述がないかどうかを確認しながら、AIが簡単に解けない問題を試行錯誤しつつ書けるようになっています。このウェブインターフェイスをオンラインで公開し、クイズライターに賞金を出すことで、新しいクイズ問題を作成しています。本論文では、ウェブインターフェイス上で、予測やその根拠を提示するAIとして、リカレントニューラルネットワーク(RNN)を用いたAIと、情報検索(IR)の手法を用いたAIの2つの異なるAIを使用しています。Adversarial)を作成しています。作成したデータセットは、下記のページで公開されています。作成した問題の人間にとっての難易度を評価するために、人間のクイズプレーヤーを招いたイベントを開催し、通常のコンペティションで出題されている問題と、今回の論文で作成した問題の双方を出題し、回答の精度を比較しています。結果、クイズプレイヤー(人間)は通常のコンペティションで出題されている問題について、28.3%の問題に84.2%の正解率で回答を行ったのに対し、今回の論文で作成された問題では41.6%の問題に89.7%の正解率で回答を行いました。この結果から、一般的なコンペティションで出題されているような質問と比較して、人間にとっては今回の論文で新しく作成した問題のほうが簡単であると結論づけています。Ousiaの開発した最先端のクイズボウルAIとの対戦イベントを実施し、評価を行いました。このAIは、国際会議NIPS2017で行われたコンペティションで、著名な人間のクイズチャンピオンチームを破ったシステムです。このシステムは、通常のクイズボウルコンペティションで出題されていた問題では高い性能を発揮していたものの、この新しく開発した問題においては性能をうまく発揮できず、人間のチームが勝利するという結果になりました。Adversarialに含まれる問題の3つのデータで評価したものです。横軸は、問題文の全体に含まれる単語のうちAIに与えられた単語の割合、縦軸は、回答精度を示しています。Adversarial)では、AIがうまく性能を発揮できていません。これらの結果から、このデータセットが、狙い通りに「人間には簡単だが、AIには難しい」性質を持っていることがわかります。まとめ本記事では、AIにとって難しい、敵対的な手法で作成された新しい質問応答データセットを紹介しました。専用のウェブインターフェイスを通じて、人間が試行錯誤しながら、AIが苦手とする問題を作成している点が面白い点だと思います。質問応答システムの研究は、コンピュータが人間の任意の質問に対して回答できることを目指していて、チャットボットやロボット、ウェブ検索エンジンなど、幅広い応用があります。Alexaのように、人間がコンピュータに対話形式で接する機会が増えてきている中で、人間の質問に回答する質問応答タスクの重要性はさらに増してくるものと考えられます。今回の論文で扱っているクイズボウルのAIは、Wikipediaから質問に対応するエントリを探す機能を持つもので、固有名詞や専門用語が思い出せないときなどに便利に使えるものになっています。最近のAIの研究の現場は、新しいデータセットやタスクが提案され、それを解けるAIのモデルがすぐに開発されるというような良いサイクルが短期間にまわることで、どんどん賢いAIが実現されていくエキサイティングな環境になっています。OusiaのクイズボウルAIの開発者でもあるのですが、より難易度の高いデータセットがリリースされてきたので、今回の新しいデータセットでも、人間を超える精度のAIの開発を行っていきたいと考えています。2019この記事をシェアするLINE記事の内容等について改善箇所などございましたら、お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。3敵対的サンプルを翻訳タスクの学習データに応用。3順序付きニューロン。ツリー構造のリカレントニューラルネットワ...ICLR2019が開催されました。Dee...東京オリンピックにも採用、急速に利用が広がる「顔認証」...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...Googleが公開した自然言語処理の最新技術、BERT...モデルの脆弱性・様々な精度はデータセットの「粒度」でわ...深層学習×マルチモーダル。マルチモーダル学習で未来が広...MuZeroの衝撃。Dee...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...Googleが公開した自然言語処理の最新技術、BERT...MuZeroの衝撃。お取り扱いについて株式会社wevnal(以下「当社」といいます。)は、AI-SCHOLAR(以下「本サイト」といいます。)をご利用になる方(以下「ユーザー」といいます。)を遵守すると共に、以下のプライバシーポリシー(以下「本プライバシーポリシー」といいます。)に従い、適切に取り扱うものとします。本プライバシーポリシーにおいて、個人情報とは、生存する個人に関する情報であって、当該情報に含まれる氏名、生年月日その他の記述等により特定の個人を識別することができるもの(他の情報と容易に照合することができ、それにより特定の個人を識別することができることとなるものを含みます。)を意味するものとします。当社は、ユーザーの個人情報を、以下の目的で利用いたします。当社は、ユーザーの同意を得て、以下の提供先に、以下の提供情報内容を以下の手段又は方法で提供することがあります。(1)提供先について登録ユーザーが本サイトにおいて資料の請求、閲覧もしくはダウンロードする場合、その資料の提供元である本サイト掲載企業(当該提供元企業から委託を受けた者を含みます。所属企業ではなく、企業に所属する個人が提供元である場合もあります。)に、以下の情報が提供されます。電磁的な方法による送信また、次に掲げる場合は、関係法令に反しない範囲で、ユーザーの同意なく個人情報を第三者に提供することがあります。一部または全部を外部委託することがあります。委託先における個人情報の取扱いについては当社が責任を負います。当社は、個人を特定できないよう加工した統計データを作成することがあります。当社は、統計データを何ら制限なく利用することができるものとします。して、ユーザーご本人に限り、個人情報の開示、訂正、追加または削除、利用停止、ならびに第三者への提供の停止(以下「個人情報の開示等」といいます)を求めることができるものとします。以下の場合は個人情報の変更等に応じないことがあります。他の法令に違反することとなる場合また、当該個人情報の変更等に多額の費用を要する場合、その他の、個人情報の開示等を行うことが困難な場合であって、ユーザーの権利・利益を保護するため必要なこれに代わるべき措置をとるときは、個人情報の変更等に応じないことがあります。当社サービスは、Cookie及びこれに類する技術を利用することがあります。これらの技術は、当社による当社サービスの利用状況等の把握に役立ち、サービス向上に資するものです。Cookieを無効化されたいユーザーは、ウェブブラウザの設定を変更することによりCookieを無効化することができます。Cookieを無効化すると、当社サービスの一部の機能をご利用いただけなくなる場合があります。当社は、法令等の定めがある場合を除き、必要に応じて、本プライバシーポリシーを変更することができるものとします。プライバシーマークに関して当社は、プライバシーマークの認証を取得しています。パスワードをお忘れの。