ブログではないですスマートフォン用の表示で見るブログではないですブログでなくはないですこの広告は、90日以上更新していないブログに表示しています。QAでSOTAを出しましたという論文。会場で発表を聞いていたけどネットワークが複雑で一回だと良く分からなかった。一度読んでも良く分からなかった。SQuADは文書と複数の質問が与えられ,回答となるそれぞれのスパンを文書から見つけるタスク(のデータセット)。公式サイトのトップにランキング形式で結果が乗るのがゲームっぽくて人気が出てるのも頷ける。このタスクを解く際に元文書からどうやってスパンを取っているのかが分からなかった(SQuAD系列をちゃんと読んだことが無かった)ため試しに読んでみた。既存研究の積み重ねをフルに使っており,見ての通りとても複雑。concatしてRNNに入力。文書のt番目の単語が質問文のどの単語とマッチしているかの情報を持ったベクトル。使うというのが提案手法その1。意図としては文書中のある単語と質問文とのマッチ結果のうち、重要じゃないマッチについてはgateで弱めて入力している感じだろうか。得たマッチングのベクトルに対してもう一度attention-poolingしてBi-RNNに入力。同じで、アテンション先・アテンション元のベクトルが変わっているだけ。この操作はよく意図が分からなかった。回答スパンの初めと終わりを推定するレイヤ。averageをとるのではなく推定した重みのargmaxを取るだけ。使うのがトレンドらしい。testの結果が上図。self-matching)はそれなりの効果がありそう。精度競争が激しいタスクにはありがちだけどいまいち研究の大目標が掴めない感じの論文だった。attention(attentionの際に"どれにもアテンションしない"に相当するベクトルを1つ用意する)とかを使えばいいんじゃないか、とも思った。2つのテキストの単語に対応関係のあることが概ね保証されている翻訳と違って、QAなどのタスクではそもそもattentionする必要のない単語がしょっちゅう出てくるんだから。Bahdanauの新作。ICLR'18]月別アーカイブはてなブログをはじめよう!jack_and_rozzさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。