ブログではないですスマートフォン用の表示で見るブログではないですブログでなくはないですこの広告は、90日以上更新していないブログに表示しています。learningもの。learningを行っている。taskを解く(many-to-many)の3種を試している。論文中の図が分かりやすい。taskとしてはauto-encoderやskip-thoughtを試している。複数文からなる文章を入力として取り、Encoder-Decoderモデルである文をEncoderで読み込んだ後Decoder側でその前後の文を生成するモデルを学習することで文ベクトルを構築するとか。学習の際はハイパーパラメータとして各タスクがどれだけ学習されるかの比率を設定した上で、それぞれのタスクを切り替えながら行う。0.01xで比較)結果としては、多くの場合multi-taskで解くことによって結果は改善されている。比率によってはデータがそこまでないタスクが頻繁に学習されて過学習っぽくなってしまったいる場合も。parsingの改善は特に無かったらしい。autoencoderの導入によってEncoderが出力する意味表現が頑健なものになるんじゃないか、との考えは前からあったのでこれは意外な結果。taskの導入によって改善している場合も。pplは近いほど良くなるが,BLUEはむしろ下がってしまう。筆者の考えとしてはskip-thoughtsはある文の前後の文を予想するタスクであるため、Encoder-Decoder間で同じ意味の文を扱うtranslationとタスクが異なってしまっている事が原因だろう、と述べている。Many-to-many)モデルではEncoderから異なるタスクの似たような文が与えられた際、文自体にはどのタスクの入力かの情報がないのでどのタスクのDecodeをすればいいのか混乱するんじゃないか?という気もする。TranslationのようにタスクのシンボルをEncoderに加えるとかすれば結果が良くなったりしないだろうか。Bahdanauの新作。まとめ聴講&ポスターを見ていて気になった論文をセッションごとに。ICLR'18]月別アーカイブはてなブログをはじめよう!jack_and_rozzさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。