敵対的サンプルを翻訳タスクの学習データに応用。GAN(敵対的学習)ロボティクスTOPテキストマイニング敵対的サンプルを翻訳タスクの学習データに応用。敵対的サンプルを翻訳タスクの学習データに応用。(cs.CL)近年、深層学習の台頭により、機械翻訳技術が実際に活用できるレベルになってきました。この技術により言語の壁が取り払われようとしています。現状、その活用は一部に限られています。その一つの要因として、文章の意味は同じもしくはほぼ同じにも関わらず、その構成要素となる単語が異なった二つの文章を翻訳した際に、全体として異なる意味の翻訳結果となってしまうという問題があります。以下の例を見てください。「他」を「她」にして翻訳した例この例では、中国語を英語に翻訳するタスクで、入力文章中の「他」(彼という意味)を「她」(彼女という意味)に置き換えて翻訳を行っています。her」となり、さらに「person」が「people」に変化してしまいました。このように現状の機械翻訳技術では、単語レベルの差によって異なる意味の文章に翻訳してされてしまう危険性があります。日常会話に機械翻訳技術を使う場合には、それほど大きな問題にはならないかもしれません。各国の首脳会談など重要な場面で使うということを想定した場合、異なる意味に翻訳されては使い物になりません。この機械翻訳の脆弱性は悪意のある攻撃者に利用されるかもしれません。あるサイトの文章を翻訳しようとした際に、攻撃者が機械翻訳技術が誤翻訳するように単語の入れ替えをしたとします。すると、サイトの作成者からみると、意味は変わらないため気づかず、翻訳された文章を見た閲覧者がその文章を異なる意味で理解してしまう、ということが起きるかもしれません。上記に述べた理由から、単語の入れ替えを行った場合でも同じ意味に翻訳する技術が求められています。Googleはこの問題を解決するために、機械翻訳モデルを学習する際に、訓練データの単語を入れ替えつつ同じ意味の文章を生成し、それを訓練データに含めることでより誤翻訳が少ない精度の高いモデルを構築しています。example(敵対的サンプル)と呼ばれる、分類器を騙す技術を翻訳タスクに応用したものです。これまでは機械を騙す技術だったものがデータ拡張にも使えることがこの研究によって示されました。以下では、簡単にこの翻訳モデルの構築の仕方を見ていきます。翻訳モデルのベースラインとして、Trasformerと呼ばれるencorder-decorderモデルを使用します。encorder-decorderモデルとは入力文章をencorderで数値化して情報を集約し、その集約した情報をdecorderに入力して翻訳を行うモデルです。従来、RNNやCNNを用いたものが翻訳モデルとして使用されてきましたが、Transformerはそれらを使わず、注意機構と呼ばれる仕組みを使ってモデルを構築しています。シンプルで計算量が少ないのにも関わらず、高精度の翻訳を実現したモデルで、近年の翻訳モデルではデファクトスタンダード(事実上の標準モデル)となりつつあるモデルです。Transformerの概要この研究は訓練データを元にして、誤翻訳を起こす可能性のある文章を作り、その文章も訓練データに含めることで精度の向上を図っています。誤翻訳を起こす可能性のある文章をどのように生成するのでしょうか?翻訳タスクでは、ある言語の文xを入力した際に、異なる言語でかつ同じ意味の文yを出力するモデルを構築することがゴールです。どれだけ離れているかを元に、その損失が大きくなるように文x内の単語の入れ替えを行います。このとき同じ意味の単語で入れ替えを行います。AdvGenは誤翻訳を起こしやすく、かつ文章の意味を変えないような単語による文章を生成します。́,y)を訓練データに含めて学習します。-英語および英語-ドイツ語間のデータを使って実験を行っています。一つ目の実験は訓練データのみ用いて学習したモデルと水増しした訓練データを用いて学習したモデルの精度を比較する実験です。二つ目の実験はテストデータの入力文章の単語を置き変えて、このモデルがどれほどノイズ耐性を持っているか示すための実験です。結果は以下の通りです。図2では、単語を入れ替えて生成したデータを訓練データに含めることで精度が大幅に向上したことが分かります。図3では、ノイズ対策を行っていないモデルの場合(青色)は、ノイズの割合が増えると急激に精度が落ちていることが分かります。本研究でのモデルでは、従来手法でノイズ対策をしたモデル(紫色、黄色)よりもノイズに強いモデルが構築出来ていることが分かります。こちらをご覧ください。上から三つ目と四つ目の文章がノイズ対策をしていないモデルで、下二つがノイズ対策を行ったモデルの翻訳結果を示しています。これを見ると、ノイズ対策したモデルは、入力文の変化させた部分に該当する単語のみが翻訳文中で変化していることが分かります。まとめ本記事では、訓練データに対して損失を大きくするように単語を入れ替え、その入れ替えた文章を訓練データに含めることで、従来モデルより精度が高く、かつ誤翻訳を起こしにくいモデルを構築する研究を紹介しました。私は機械学習をビジネス活用を模索するチームで働いていますが、どのお客様も精度だけを考慮し、モデルのセキュリティまで気が向いてないように思います。今回の論文のように、使用するデータセットの量や性質をうまく改変するだけで、セキュリティは向上することがわかりました。機械学習の技術発展は、その悪用による危険性も同時に孕んでいると言えます。加えて、情報社会の現代だからこそ、精度を上げるだけではなく、AIのセキュリティまで考慮することが真にAIを活用するために必要だと思います。この記事をシェアするLINE記事の内容等について改善箇所などございましたら、お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。この記事を書いた人なかじめセキュリティ分野に関するAIなどに興味を持っています。1順序付きニューロン。ツリー構造のリカレントニューラルネットワ...ICLR2019が開催されました。Dee...東京オリンピックにも採用、急速に利用が広がる「顔認証」...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...Googleが公開した自然言語処理の最新技術、BERT...モデルの脆弱性・様々な精度はデータセットの「粒度」でわ...深層学習×マルチモーダル。マルチモーダル学習で未来が広...MuZeroの衝撃。Dee...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...Googleが公開した自然言語処理の最新技術、BERT...MuZeroの衝撃。お取り扱いについて株式会社wevnal(以下「当社」といいます。)は、AI-SCHOLAR(以下「本サイト」といいます。)をご利用になる方(以下「ユーザー」といいます。)を遵守すると共に、以下のプライバシーポリシー(以下「本プライバシーポリシー」といいます。)に従い、適切に取り扱うものとします。本プライバシーポリシーにおいて、個人情報とは、生存する個人に関する情報であって、当該情報に含まれる氏名、生年月日その他の記述等により特定の個人を識別することができるもの(他の情報と容易に照合することができ、それにより特定の個人を識別することができることとなるものを含みます。)を意味するものとします。当社は、ユーザーの個人情報を、以下の目的で利用いたします。当社は、ユーザーの同意を得て、以下の提供先に、以下の提供情報内容を以下の手段又は方法で提供することがあります。(1)提供先について登録ユーザーが本サイトにおいて資料の請求、閲覧もしくはダウンロードする場合、その資料の提供元である本サイト掲載企業(当該提供元企業から委託を受けた者を含みます。所属企業ではなく、企業に所属する個人が提供元である場合もあります。)に、以下の情報が提供されます。電磁的な方法による送信また、次に掲げる場合は、関係法令に反しない範囲で、ユーザーの同意なく個人情報を第三者に提供することがあります。一部または全部を外部委託することがあります。委託先における個人情報の取扱いについては当社が責任を負います。当社は、個人を特定できないよう加工した統計データを作成することがあります。当社は、統計データを何ら制限なく利用することができるものとします。して、ユーザーご本人に限り、個人情報の開示、訂正、追加または削除、利用停止、ならびに第三者への提供の停止(以下「個人情報の開示等」といいます)を求めることができるものとします。以下の場合は個人情報の変更等に応じないことがあります。他の法令に違反することとなる場合また、当該個人情報の変更等に多額の費用を要する場合、その他の、個人情報の開示等を行うことが困難な場合であって、ユーザーの権利・利益を保護するため必要なこれに代わるべき措置をとるときは、個人情報の変更等に応じないことがあります。当社サービスは、Cookie及びこれに類する技術を利用することがあります。これらの技術は、当社による当社サービスの利用状況等の把握に役立ち、サービス向上に資するものです。Cookieを無効化されたいユーザーは、ウェブブラウザの設定を変更することによりCookieを無効化することができます。Cookieを無効化すると、当社サービスの一部の機能をご利用いただけなくなる場合があります。当社は、法令等の定めがある場合を除き、必要に応じて、本プライバシーポリシーを変更することができるものとします。プライバシーマークに関して当社は、プライバシーマークの認証を取得しています。パスワードをお忘れの。