About...Anything」の意訳です。Luongさんによる投稿です。来るべきものが来た、GPT-2の際にも感じた、人間を超えつつある圧倒的な存在に対する興味と興奮と感動と恐怖と憧れが混ざり合った複雑な気持ちになるお話です。Unsplash現代の会話エージェント(チャットボット)は、専門的な会話に特化する傾向があります。ユーザーが予想される使用方法から大きく逸脱しない限り、パフォーマンスは良好です。chatbots)の研究と言います。この研究では特定の事柄に対する専門的な会話だけではなく、ユーザーが望むほぼ全ての一般的な会話に対応できるチャットボットの開発を試みて、補完的なアプローチを検討しています。このような一般的な会話に対応可能なエージェントは、魅力的な研究問題であるだけでなく、コンピューターと人間の対話をさらに自然にする事、外国語の学習方法を改善する、会話により操作可能な映画やビデオゲームのキャラクターの開発など、多くの興味深いアプリケーションにつながる可能性があります。現在のオープンドメインチャットボットには重大な欠陥があり、多くの場合、会話の内容に意味がありません。彼らは時々、これまで述べてきた事と矛盾する事や、現実世界についての常識と基本的な知識を欠いている発言をします。チャットボットは多くの場合、現在の状況にそぐわない、その場しのぎの回答を返します。「わかりません」は質問に対する賢明な回答ですが、具体的な答えではありません。現在のチャットボットは、多くのユーザーの問いかけに対応しようとして、人間よりも頻繁にこういった回答を返します。Chatbot」では、私達はMeenaを紹介しています。Meenaは26億のパラメータを内部に持ち、エンドツーエンドでトレーニングされた新しいニューラル会話モデルで、従来の最先端のチャットボットよりも賢明で具体的な会話を行う事が出来ます。Average(SSA)と呼ばれるオープンドメインチャットボットを評価するための評価基準に明確に表れます。SSAは人間の会話の基本的で且つ重要な属性を捕捉している度合を測定します。驚くべき事に、SSAはどのニューラル会話モデルにも容易に利用できる計測基準であるPerplexityに非常に相関している事が示されました。訳注:Perplexityは過去には「単語絞り込み性能」と強引に訳した事がありますが、「サルが木からXXX」と言う文のXXXの部分に当てはまる単語が「落ちた」「登った」「桃太郎」「美しい」の中からどこまで絞り込めるか、というイメージです。名詞や形容詞が来るのがオカシイと判断できる言語モデルだったら後者2つは除去できるし「木から」の部分を理解できる言語モデルであったら「登った」がオカシイと判断できる、といった感じです。言語モデルの評価にPerplexityは良く使われています。Meena(左)と人(右)の間のチャット。MeenaMeenaは、現在の状況(context)を意識して会話に適切に応答する事を学習する、エンドツーエンドのニューラル会話モデルです。トレーニングの目的はperplexity、すなわち、次に出現するトークンの予測の不確実性(Meenaの場合は会話の次の単語)を最小化する事です。seq2seqアーキテクチャです。これは、複雑性を改善するために進化的ニューラルアーキテクチャ検索によって発見されたTransformerアーキテクチャです。Transformerデコーダーブロックがあります。エンコーダーは、会話コンテキストを処理して、Meenaが会話で既に言ったことを理解できるようにします。デコーダーはその情報を使用して実際の応答を定式化します。ハイパーパラメーターを調整することで、より強力なデコーダーがより高い会話品質の鍵であることを発見しました。コメントをキャンセルメールアドレスが公開されることはありません。白人至上主義は少なくとも1960年代まで、アメリカの政治では主流のイデオロギーであり続けた。白人以外のオーストラリアへの移住を制限する白豪主義は、1973年まで実施されていた。WordPress.。