sentences)とあるけど、単純に、1単語単位と2単語単位の種類の豊富さで評価するということなのだろうか。議論はある?+自分のコメントこの研究はNN系に文章生成タスクにおいて多様性という観点を組み込んだ最初のタスク。この先、その人の個人にパーソナライズした、また、その人の興味にお合わせたような応答を出力するシステムの研究が進むだろう。answering,などのほかのタスクにも生かせるだろう。・(自分メモ)単純に、このdiversityのように、トピックが応答に合致していたら、スコアを上げる。いう風にできないのかな。いうか、そういう研究ありそうだけどな。(2018)(AAAI)言ってた通り、パーソナル系の論文とか、イメージキャプションのもあったはずだ。memory」という外部メモリを利用する提案手法を持ちい解決に挑んだ。先行研究と比べてどこがすごい?先行研究と比べてすごいのは、semantic情報をどのように応答に反映させるかをコントロールできること。トピックに関連するキーワードを応答にしようとすると、生成の範囲が狭まるため、キーワードに複数用いて出力するようにした。(でもこれtopicattentionと何が違うんだろう。)技術や手法のキモはどこ?(読み込んでないから恐らくだけど、)下記2つのen-decのシステムが存在する。memory・(seq2eq)ベースとなる対話文の学習よって、二つの学習情報が入った分散表現を手に入れることができる。それぞれ、2系統で学習し。用いて、二つの情報を結びつける。二つの情報(形は分散表現)を繋げるのにattentionを用いている。肝は、外部知識に外部に取り付けて、応答をコントロールできるようにしたこと!(確かにここ大事だよね)。データのスパース性により、おかしな応答を出してしまうこともあった。将来的にはこの問題を解決したいと述べている。自分コメント:この外部知識の機構を外にだして、コンとロールできるようにするってのは、私がやりたいとおもっていたことだし、外部のトピックjとかを持つ文章をRNNとかEn-decで与えて、attentionでやったのはなるほど!その手か!とおもった。わたしも文章単位でのattentionかけたいけどどうしようyっておもってたから。Attention先発(?)研究。プレプリントっていうんでしょうか?どんなもの?seq2seq型の対話システムに、LDAを用いトピック情報を加え、トピック情報を含んだより意味のある応答ができるようになった。models)のように、他愛のない応答の生成を避けるのではなく、トピック情報を用いて、ダイバーシティ問題に取り組んだ点。そのことによって、より多く有益な情報を含んだ応答が生成できるようになった点。技術や手法のキモはどこ?・attentionを用いて、トピックワードを応答に出力しているところ。(やっぱり単語に注目しているってことでいいんだよな)・つまり、トピックアテンションをコンテクストのアテンションに組み込んでいること。やって有効だと証明した?評価方法は3つ。下記3つの評価観点で、良い数値を出したことにより、有効性を証明した。1perolexity・・モデルが応答をどの程度予測できるかを示す。下記式を用いて、数値を出す。bigramsの数を数えている。bigramsれば高いほど、情報量を多く含んだ文章とみなしている。annotation・・人間による評価。評価基準は、関連性、自然さ、情報量の豊富さ。議論はある?とくに論文中に記述はない。Generation(2017-IEEE)では、注意すべきキーワードを単語にいれると、それに引っ張られすぎて、意味の通らない応答を出しやすい。これはcontextのattentionとドッキングしているから、そこを調整すればいい話なのか?自分的にこのシステムの問題点は、やっぱり、単語に応答が依存していることだと思うんだよな。うーんでもうまく言語かできない。作ってみたら、問題点もっとクリアに見えるのかな。Attention(2018)Tweet広告を非表示にするもっと読むコメントを書く次のページプロフィールid:hootate研究初心者。お仕事しながら研究してます。いつかトップカンファレンスにアセプトされるぐらいの研究がしたい、そして、社会に実装したい、と夢見てます。タスクは対話システム。生物をモデルとしたプログラムが好きです。後、ピアノが娯楽です。(1)生物と機械の間(自然言語処理研究と徒然。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。