論文2018.11.30Wikipediaから学習する知識会話型エージェントShareTweetLINE今回紹介するのは最近Facebook社から発表された『Wikipediaの情報を使って知的な対話ができるAI』についてで、自然言語処理についての記事になります。Wikipediaの文章をそのまま使って喋るのではなく文脈に応じて適切な文章を生成できるようなAIとなっており、大変興味深い実験結果が示されています。自然言語処理AIが目指す究極のゴール自然言語処理AIが目指す究極のゴール、それは人と自然な会話ができるAIを作ることです。そのためには、1言語を理解すること、2知識を貯めたり使ったりするための記憶力を持つこと、3返答としての必要な条件を満たし、さらに相手を惹き込めるような発言を返すこと、などが求められています。今現在の翻訳AIの性能を見てみると文法や単語の使い方などはある程度理解できるようになっていると言えそうですが、2の知識の利用や記憶などと言った部分に関してはまだまだ研究が進んでいません。実は現在の翻訳AI多くの場合、文脈や背景知識などを全く考慮していません。そこでこれらを克服するため、文脈と知識を考慮できるようなAIを開発したのが今回紹介する論文になります。単純化するために、知識を使って発話するAIを『教師』、知識を欲しがる対話相手(人)を『生徒』として、一対一のターン制の会話を考えます。教師は生徒からの発言を受けた後、必ずWikipediaからある決まりに従って関係しそうな記事を検索し、そこから使えそうな文章を選びその文章に基づいて発言する、という様に定めます。以下のような会話が今回考える会話形式に当てはまったものとなります。教師:「僕動物好きなんだけど、特にあの革みたいな甲羅がとっても良いと思うんだよね。生徒:「そうは思わないわ。そもそも人生で一度もアルマジローなんて見たことないわ。:(関連する7つのWikipediaの記事(後述)の最初の段落の文章すべてが与えられます)アルマジローは、スペイン語で「小さな装甲車」を意味する。ココノオビアルマジロ、マタコミツオビアルマジロは中型哺乳動物で、北、中央、南アメリカで見られる。教師:「僕は動物園で見たんだ。アルマジローはスペイン語で小さな装甲車っていう意味なんだよ。教師に与えられる知識:(話題が変わらなかったので上と同じ知識が与えられます。アルマジローは一般的に北、中央、南アメリカで見られるよ。」(与えられた文章のうちの一つを選び、それを使いながら答える)今回この論文を発表したFacebook社はこのような会話形式での正しい対話文と正しいWikipediaの文章の選び方を学習するために、約2.2万件の対話ログをクラウドソーシングによって集めました。クラウドソーシングする際も、被験者に『教師』と『生徒』に分かれてもらい、『教師』には上のルールと同じようにWikipediaの文章を毎回選んでもらうようにしています。関連するWikipediaの記事の選び方(論文中では知識検索システムと呼ばれています)ですが、この部分は学習によって適切な記事を選んだ方が良いと考えられます。今回はクラウドソーシングの際に教師が使う記事の選び方と統一するため、AIが記事を選ぶ際もヒューリスティックな手法で統一しています。具体的には、会話の履歴と各Wikipediaの記事とで登場する単語の分布がどれだけ似ているかなどで関連する記事を決めています。今回は大きく分けると『与えられる知識の中から最終的にどの文章を選ぶか』、『選んだ文章と文脈を使ってどのように文章を生成するか』の2箇所でディープラーニングを使っています。モデルなかなか複雑そうなモデルとなっていますが、左半分が『与えられる文章からどれを使うか』を選ぶ部分、右側が『選んできた文章と会話ログを入力として受け取り、次の文章を生成する』ための部分になっています。どちらもTransformerと呼ばれる、Google翻訳にも使われているモデルが使われています。(一見複雑なモデルですが実は基本的な翻訳AIと同じような構造をしており、Transformerというモデルの汎用性の高さが光っています。System(知識検索システム)がまず教師にいくつかの文章を用意し、左側のTransformerがどの文章を使うか決定、その文章と会話ログ(直近2ターン分の会話)を使って右側のTransformerで文章を生成して発言、という風になっています。このモデルがうまく学習できるように生成された文章に対して適切な評価指標を設定するなど、論文には他にも様々な貢献が含まれます。結果AIは一般的に見たことのあるデータについては比較的高い性能を発揮することができます。今回、クラウドソーシングで集められ学習用データの中には『ステーキ』を話題にしたものが含まれていたのですが、実際に学習が終わった後のAIは『ステーキ』を話題にしてどのような知的な会話を繰り広げてくれるのか見てみましょう。被験者:「こんにちは、お昼の時間ね。なんだか高級ステーキが食べたい気分だわ。それは美味しそうだね。僕も同じように言ってみたいよ。『ステーキ』って言葉が形容詞無しで使われる場合、それは一般的にビーフステーキを意味するよね。被験者:「面白いことを言うわね。私は特に好みのステーキというのはないのだけど、あなたは?」AI:「僕はリブアイステーキが好きなんだ、ミディアムレアが特に良いね。『ステーキ』って言葉が形容詞無しで使われる場合、それは一般的にビーフステーキを意味するよね。被験者:「まさにそうね。あなたはどうやって良いお肉を選ぶの?」AI:「ステーキとか他のあなたにとって珍しいカット肉となると、レア、ミディアムレア、ミディアム、ウェルダン、などがあるよね。被験者:「ステーキの下準備としてはどんなものが好み?」AI:「あなたはそれを色々とリガウ方法で準備できることが好きだよ。フライとか、グリルとか、あとステーキをボイルすることもできるよ。若干不自然なところはありますが、たしかに相手の発言に対しての反応を示しつつ、さらに知識をうまく会話に馴染ませて会話をふくらませることができています。次に学習用データの中には含まれていなかった話題についての対話を見てみましょう。被験者:「あなたが酪農についてどう思っているか知りたいわ。」AI:「僕はあまり酪農について知らないんだ。先進国では酪農は典型的に高乳製品で成り立っているということは知っているよ。被験者:「えぇそうね、たくさんの牛を飼っていて毎時間大量の牛乳を生産しているわね。」AI:「商業酪農で使用される他の種には、ヤギ、ヒツジ、およびラクダが含まれるね。被験者:「ラクダからミルクが取れるなんて知らなかったわ。」AI:「ラクダのミルクは砂漠の人々を支えているよ。被験者:「へぇそれは面白い。」AI:「イタリアでは、人の代わりにミルクを生産することへの人気が高まっているよ。被験者:「私もやぎのミルクを飲んだことがあるわ。」AI:「酪農のために牛を買うようになったことの最も古い証拠は新石器時代の代7千年。」かなり酪農に詳しそうな反応を返すことができています。興味深いことに、学習用データには酪農に直接関係する対話は含まれていないので、つまり初めての話題に対しても適切にWikipediaから文章を抽出し、会話に組み込むことができていることがわかります。『酪農』といった話題に対して特に特化させているわけではなくどのような話題を振ってもそれらしい会話を繰り広げてくれます。このことからこのAIはかなり自在に知識を会話に活用できていると言えるでしょう。まとめ今回Wikipediaの知識を使って知的な会話ができるAiを紹介しました。このAIがWikipediaを使っているということを知らなかったら、誰でもかなり驚くのではないでしょうか。知識を自らリンクさせ新しい情報を提供できるようなAIは、会議などで新しい問題解決のための切り口を提供するアイディアマンとしての活躍が期待されます。プライベートで会話するのも非常に面白そうですし、対話AIへの夢は広がるばかりです。この記事をシェアするLINE記事の内容等について改善箇所などございましたら、お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。単語ベクトルの上手な再配置手法。Dee...東京オリンピックにも採用、急速に利用が広がる「顔認証」...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...Googleが公開した自然言語処理の最新技術、BERT...モデルの脆弱性・様々な精度はデータセットの「粒度」でわ...深層学習×マルチモーダル。マルチモーダル学習で未来が広...MuZeroの衝撃。Dee...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...Googleが公開した自然言語処理の最新技術、BERT...MuZeroの衝撃。お取り扱いについて株式会社wevnal(以下「当社」といいます。)は、AI-SCHOLAR(以下「本サイト」といいます。)をご利用になる方(以下「ユーザー」といいます。)を遵守すると共に、以下のプライバシーポリシー(以下「本プライバシーポリシー」といいます。)に従い、適切に取り扱うものとします。本プライバシーポリシーにおいて、個人情報とは、生存する個人に関する情報であって、当該情報に含まれる氏名、生年月日その他の記述等により特定の個人を識別することができるもの(他の情報と容易に照合することができ、それにより特定の個人を識別することができることとなるものを含みます。)を意味するものとします。当社は、ユーザーの個人情報を、以下の目的で利用いたします。当社は、ユーザーの同意を得て、以下の提供先に、以下の提供情報内容を以下の手段又は方法で提供することがあります。(1)提供先について登録ユーザーが本サイトにおいて資料の請求、閲覧もしくはダウンロードする場合、その資料の提供元である本サイト掲載企業(当該提供元企業から委託を受けた者を含みます。所属企業ではなく、企業に所属する個人が提供元である場合もあります。)に、以下の情報が提供されます。電磁的な方法による送信また、次に掲げる場合は、関係法令に反しない範囲で、ユーザーの同意なく個人情報を第三者に提供することがあります。一部または全部を外部委託することがあります。委託先における個人情報の取扱いについては当社が責任を負います。当社は、個人を特定できないよう加工した統計データを作成することがあります。当社は、統計データを何ら制限なく利用することができるものとします。して、ユーザーご本人に限り、個人情報の開示、訂正、追加または削除、利用停止、ならびに第三者への提供の停止(以下「個人情報の開示等」といいます)を求めることができるものとします。以下の場合は個人情報の変更等に応じないことがあります。他の法令に違反することとなる場合また、当該個人情報の変更等に多額の費用を要する場合、その他の、個人情報の開示等を行うことが困難な場合であって、ユーザーの権利・利益を保護するため必要なこれに代わるべき措置をとるときは、個人情報の変更等に応じないことがあります。当社サービスは、Cookie及びこれに類する技術を利用することがあります。これらの技術は、当社による当社サービスの利用状況等の把握に役立ち、サービス向上に資するものです。Cookieを無効化されたいユーザーは、ウェブブラウザの設定を変更することによりCookieを無効化することができます。Cookieを無効化すると、当社サービスの一部の機能をご利用いただけなくなる場合があります。当社は、法令等の定めがある場合を除き、必要に応じて、本プライバシーポリシーを変更することができるものとします。プライバシーマークに関して当社は、プライバシーマークの認証を取得しています。パスワードをお忘れの。