元に次時刻の単語を予測。CFSMという段階的な推定を行うことで計算量を削減するソフトマックスを使用している。(eq.8),1.2で使う全エンティティの分散表現リストにも更新を適用。学習では各推定結果についての同時確率を最大化している。(下図におけるXXXXが何かを推定。XXXXの右側についての手がかりは使えない)で評価。average)を使用。結果、どのタスクについても改善。言語モデルについてはベースラインが弱すぎる&あまり差分がない感。'17]の結果が63%弱,提案手法が74%強とかなり強そう。resultが77%ってちょっとタスクとしてアレなのでは?プレースホルダの右側が見えてないためそもそも曖昧性が高いような問題(XXXXが主語になっているような場合とか)があるんじゃないか?という気も。モデルも比較的意図がわかりやすい。いう気もすると思った。項にあたる部分の意義がいまいち理解できていない。QAでSOTAを出しましたという論文。会場で発表を聞いていたけどネットワークが複雑で一回だと良く分からなかった。一度読んでも良く分からなかった。SQuADは文書と複数の質問が与えられ,回答となるそれぞれのスパンを文書から見つけるタスク(のデータセット)。公式サイトのトップにランキング形式で結果が乗るのがゲームっぽくて人気が出てるのも頷ける。このタスクを解く際に元文書からどうやってスパンを取っているのかが分からなかった(SQuAD系列をちゃんと読んだことが無かった)ため試しに読んでみた。既存研究の積み重ねをフルに使っており,見ての通りとても複雑。concatしてRNNに入力。文書のt番目の単語が質問文のどの単語とマッチしているかの情報を持ったベクトル。使うというのが提案手法その1。意図としては文書中のある単語と質問文とのマッチ結果のうち、重要じゃないマッチについてはgateで弱めて入力している感じだろうか。得たマッチングのベクトルに対してもう一度attention-poolingしてBi-RNNに入力。同じで、アテンション先・アテンション元のベクトルが変わっているだけ。この操作はよく意図が分からなかった。回答スパンの初めと終わりを推定するレイヤ。averageをとるのではなく推定した重みのargmaxを取るだけ。使うのがトレンドらしい。testの結果が上図。self-matching)はそれなりの効果がありそう。精度競争が激しいタスクにはありがちだけどいまいち研究の大目標が掴めない感じの論文だった。attention(attentionの際に"どれにもアテンションしない"に相当するベクトルを1つ用意する)とかを使えばいいんじゃないか、とも思った。2つのテキストの単語に対応関係のあることが概ね保証されている翻訳と違って、QAなどのタスクではそもそもattentionする必要のない単語がしょっちゅう出てくるんだから。RTEhttps://arxiv.org/abs/1706.00286概要Bahdanauの新作。LSTMの最終ステート)した補助ベクトルを加えて補うことで未知語についても意味が獲得できるよね、という話。言語モデルの3タスクで評価。基本的な未知語処理のモデルは下図の通りで、それぞれのタスクのベースラインとなるモデルにおいて文をエンコードする際通常のLSTMなどの代わりにこのエンコーダを使うだけ。expressionについては取り扱っていない。