Detection』の精度を検証してみたTweet日本、そして世界で社会問題化しているフェイクニュース。アメリカでは、フェイクニュースが大統領選に大きな影響が与えたと言われ、2017年に社会問題として大きな話題になりました。フェイクニュースはSNSなどで拡散されるため、人がひとつずつ真実であるか嘘であるかを確認し取り締まることは不可能と言えるでしょう。Detection」は、ネットの記事が嘘であるか、本当であるかどうかを判定できるというAPI。フェイクニュースを見破るのは、文脈や情報の正確さ、記事の背景などに注意しなければならなく、AIにとっては難しい分野であるように思えますが......。Detectionはそのひとつです。フェイクニュースかどうか検知したい記事のURLを指定すると、「real」と「fake」それぞれの確信度を表示します。嘘か事実かだけではなく、「fake」であった場合では、bias(偏見)conspiracy(陰謀)propaganda(宣伝)psedoscience(疑似科学)irony(皮肉)どのタイプであるかそれぞれの確信度を示します。信頼されかつ偏見のある記事のデータベースをもとにして実現されているそう。一度要約するプロセスを挟むことでノイズを減らし、精度を高めているようです。参考記事:MessengerでURLを送るだけ。自然言語処理で記事が要約できるSummarizeBotを試してみたはたして人工知能はフェイクニュースを見破ることができるのか、編集部で試してみました。Detectionでフェイクニュースを見破れるか見ていきましょう。比較しやすいよう2つのトピックに対して、本当の記事・嘘の記事の2つずつ、計4つの記事で検証してみます。Pixabayまずは、世界最高峰のフットボーラーであるメッシについての本当の記事、嘘の記事で試してみました。Online」の記事を用いました。内容は「メッシがワールドカップで優勝するまで引退したくないと明かした」という内容です。この記事のURLを送るとレスポンスは以下の通り。[]}]}\n'なんと結果は確信度100%で「real」。本物の記事であると見破りました。嘘の記事ではどうでしょうか。Onion」の記事を用いました。こちらは、「前回の試合でメッシがFitbit(運動量を記録する装置)を装着し忘れて怒った」というフェイクニュースです。"irony"}]}]}\n'6割近くの確信度で嘘の記事であるとなっており、確信度は少し低いですが見事フェイクニュースであることを見破っています。文章の特徴からどのタイプのフェイクニュースであるかも表示。この場合、およそ85%は「conspiracy(陰謀)」、残り15%が「irony(皮肉)」となっております。メッシがW杯で期待されているような活躍ができなかったことを考えても、「conspiracy」よりも「irony」が的確であると思います。この記事だけでは分からないので、今度は、アメリカの大統領であるトランプに関する本当の記事、嘘の記事で試してみます。Pixabayまずは、アメリカの大手ニュース専門放送局のニュース「CNBC」の記事「トランプが中国に対してハイテク企業への投資、技術輸出を規制を計画している」というものです。"irony"}]}]}\n'さきほどのメッシの本当の記事と同様に9割強の確率で事実であると表示。本当の記事に関してはかなり高い精度で見抜けるよう。続いて、嘘の記事について見ていきたいと思います。dailymash」というイギリスの風刺報道機関の「トランプ大統領、プーチン大統領をイギリスに連れていく」の記事で試してみました。現在、イギリスとロシアはあまりいい関係にあるとは言えず、それを風刺した記事になっています。フェイクニュースであると見破れるのでしょうか。"irony"}]}]}\n'なんとほぼ9割の確信度で嘘であると検出。ここでもやはり精度は高いようです。イギリスとロシアの関係などの情報を持っているわけではないのに、フェイクニュースであると見破れているというのは驚きです。タイプの分類に関しては少し精度は劣るようです。6割の確信度で「bias」、3割の確信度で「irony」となっていますが、偏見というよりも皮肉のほうが正しいようにも思えます。本当の記事、嘘の記事それぞれ2つずつ試してみましたが、どちらも本当の記事では9割以上、嘘の記事でも6割以上の確信度で見破っています。いう両極端のものではありましたが、実際の場面でもフェイクニュースを見破ることができるのではないでしょうか。一方で、タイプの分類に関しては、少し精度が劣っているようにも思えますが、ここは人間でも判断が分かれるところなので難しいですね。人工知能がフェイクニュースを撲滅する未来は来るか新たにどこから情報を得ているわけではありませんが、過去の記事のデータなどをもとに嘘か本当か見破ることは、人間にはできないAIならではなことだと思います。この技術の精度さらに上がると、SNSやキュレーションサイトなどでフィルターとして用いることができ、一つの解決策になるかもしれません。AIでフェイクニュースが撲滅される未来に期待です。Railsを駆使するライター/エンジニア。システム設計からデザインまでを一気通貫で行う。Thuデータの価値を守る。Networksの援軍動き出す。Thuフェイクデータが本物以上の価値を持つように。データで生まれる新たな可能性。Wed16歳高校生ら、AIで作った「モーツァルトの新曲」披露。