About...Anything」の意訳です。Luongさんによる投稿です。Unsplashトレーニングに使用される会話はツリースレッドとして編成されており、スレッド内の各返信は会話の1ターンです。ツリースレッドから7ターン分の文章を抽出して会話トレーニング用のデータとしています。会話型モデルをトレーニングするのに十分な長さの文章である事と、メモリの制約にモデルを適合させる事のバランスを取って7を選択しています。(文章が長くなると、より多くのメモリが必要になります)。Meenaは26億のパラメーターを持ち、パブリックドメインのソーシャルメディアの会話からフィルター処理された341GBのテキストでトレーニングされています。GPT-2と比較して、Meenaのモデル容量は1.7倍であり、8.5倍以上多いデータでトレーニングされています。Average)チャットボットの品質を評価する既存の人間による評価基準は複雑になる傾向があり、評価者間で一貫した合意が得られません。Average(SSA)を設計することになりました。SSAを計算するために、テスト対象のチャットボット(Meenaおよび他の有名なオープンドメインチャットボット、特にMitsuku、Cleverbot、XiaoIce、およびDialoGPT)と自由形式で対話する事をクラウドソーシングで人間の評価者を募って実施しました。評価間の一貫性を確保するために、各会話は同じ挨拶「こんにちは!」で始まります。specific?)」という2つの質問に答えます。外れた、または事実上の誤りなど、何かがオカシイと思われる場合は、「分別がない」と評価する必要があります。応答に分別がある場合、発話が評価されて、特定の文脈に固有であるかどうかが判断されます。Aが「テニスが大好き」と言い、Bが「それはいいね」と答えた場合、発話は「具体的ではない」とマークされるべきです。この応答は、様々な状況で使用可能な応答です。Bが「私もロジャー・フェデラーが好きで好きでたまらないの!」と応答した場合、「具体的」とマークされます。訳注:ロジャー・フェデラーは史上最高のテニスプレーヤーとの評価もある、38歳の現在もなお、第一線で戦い続けるテニス界のレジェンドです。テニスに関心があったら間違いなく知っているレベルのスタープレーヤーで、且つ、欧米では日本よりテニス人気が高いとはいえ、会話の中でこの受け答えをちゃんと出来る人って、人間でもコミュニケーション能力が相当高い人ですよね。少なくとも私は英語のチャットで同じ受け答えができる自信はないです。good!」とか適当な応答をして「具体的ではない」とマークされる可能性が高いです。GPT-2の時にも感じましたが、人工知能は英語の理解において非ネィティブを圧倒しつつありますね。2400の会話が収集され、各会話では約100のヤリトリが行われます。各モデルの応答には人間の評価者がラベルを付けて、「分別度」かつ「具体度」が示されます。チャットボットのsensiblenessとは、「分別がある」とラベル付けされた回答の割合であり、specificityとは、「具体的」とマークされた回答の割合です。これら2つの平均がSSAスコアです。以下の結果は、MeenaがSSAスコアの点で既存の最先端のチャットボットよりもはるかに優れており、人間のパフォーマンスに迫っている事を示しています。コメントをキャンセルメールアドレスが公開されることはありません。WordPress.。