Follow-Up」の意訳です。Solaimanさんによる投稿です。人間が入力として与えた文章の続きを作成する事ができ、その文章の出来があまりに自然だったためにフェイクニュースが作り放題になるのではないかとの懸念から、機能を制限した(パラメータ数を減らした)版のみが公開されたGPT-2のその後の動きに関するお話です。私達は2月にGPT-2の小型モデル(パラメーター数124M)、5月にGPT-2中型モデル(パラメーター数355M)と段階的なリリースを行ってきました。その後、パートナーとAIコミュニティとの共同研究によるモデルの悪用の危険性と社会的利益の潜在性を調査した後、7億7400万(774M)のパラメーターを持つGPT-2言語モデルをリリースします。組織間で相互にモデルを共有するパートナーシップを開始しやすくするために、オープンソースの法的取り決め書もリリースしています。幅広いAI研究コミュニティと公開基準に関して調整した経験についてテクニカルレポートも発行しています。私たちが学んだ大切なこと(1)研究機関の間で巨大な言語モデルの取り扱い方法を調整する事は困難ですが、可能です。現在まで、1558Mパラメータを超える言語モデルを公開した事例はありませんでしたが、複数の組織がそれらをトレーニングするシステムを開発したか、より大きなモデルをトレーニングする手法を公に議論しています。Intelligence(AI2)とワシントン大学(WU)の共同研究チームは、同様の段階的リリースアプローチを明示的に採用しています。2月以来、GPT-2を複製した5つ以上のグループと議論しています。McCainの調査によると、人々はGPT-2が合成した文章を読んで新聞の記事と同程度に信頼できると判断しました。Timesの本物の記事は83%であり、ほぼ同等でした。)更にAI2/UWの協同調査によると、「GROVER」と呼ばれるシステムによって書かれたニュースは、人間が書いたプロパガンダよりももっともらしいことが示されています。これらの研究結果を踏まえると、GPT-2のような巨大な言語モデルの公開についてより慎重になります。(3)偽ニュースの検出は簡単ではありません現実には、偽ニュース検出器は非常に少ない誤検知率で膨大な数のニュースと元ニュースから派生したニュースをチェックする必要があると予想されます。悪意のある攻撃者は、さまざまなサンプリング手法(棄却サンプリングを含む)を使用するか、モデルを微調整して検出を回避する可能性があります。99.99%)に真偽を検知できる必要があります。中程度の精度しか達成できず、言語モデルを微調整されると更に検出精度が低下する事が示唆されています。News」の手法を参照)、それは本当に難しい研究課題です。言語モデルの誤用に効果的に対処するには、フェイクテキストの統計的検出に加えて、テキストに関連する人間の判断やその他の付加的な情報を追加する必要があると考えています。パートナシップ以下の4つの主要な研究機関と提携して、新しくリリースされた774Mのパラメーターを持つGPT-2モデルと未リリースのフルサイズGPT-2モデルの両方を分析しました。テクニカルレポートにはフルモデルに関する予備的な分析結果が含まれており、現在も継続しているこの分析により、1558Mモデルのリリースも関して潜在的な考慮が行われます。組織間でモデルの共有を促進するために非営利の法的契約を作成し、他の組織がそのような共有スキームの利用を開始できるようにここで公開しています。1)コーネル大学は、言語モデルによって生成されたデジタル偽情報に対する人間の感受性を研究しています。Counterterrorism)は、オンラインでテロリストや過激派がGPT-2を悪用する可能性を調査しています。probes)」を開発しています。4)テキサス大学オースティン校は、領域固有のデータセットでGPT-2を微調整した後にGPT-2が出力した文章か否かを統計的に検出できる可能性を研究しています。同様に、検出モデルを異なる言語モデル間で転移学習させる事ができる範囲を研究しています。コメントをキャンセルメールアドレスが公開されることはありません。生産性資産を築くうえで、高い評判を確立することの重要性は計り知れない。価値のあるスキルや知識を持っていても、好ましい評判をもっていなければ、それを生産的に活用できないからだ。WordPress.。