ブログではないですスマートフォン用の表示で見るブログではないですブログでなくはないですこの広告は、90日以上更新していないブログに表示しています。提案して、実際に学習したembeddingを色々なタスクで用いて評価したよ、という論文。文のベクトルで,文のベクトルをどう作るかというと文中の単語ベクトルの平均を取って変換を掛けるだけ。embeddingの評価を行う。具体的にはそれぞれのタスクのモデルにおけるembeddingの初期化をする際に、提案手法で学習したものを用いる場合と通常のskip-gramなどによるものを比較。タスクについては2つの文のベクトルさえ得られれば良いのでembeddingの学習の際のモデルと同様の構造でOK。embeddingと、前述した方法で計算する文のベクトルからスコア付けをするモデルで解いている。ある分類問題のように全エンティティ数次元の確率分布を出力するようなモデルにしていないのはエンティティ数が膨大なのでソフトマックス計算のコストが大きいからということだろうか?結果は以下の表の通り。どのタスクについても提案手法(NTEE)による改善が見られる。embeddingを使うだけでこれだけの改善が得られているという事になる。embeddingを初期化に使うというのはある種のシーケンシャルに行うマルチタスクであるような気もするので、その際のサブタスクとしてエンティティ推定タスクは良さそうという話なのだろうか。representationを使う、ともNTEEを使う、とも記述があり、単語ベクトルの平均取った後の変換部分も共有しているかどうかは不明。自然言語処理シリーズの文脈解析を片手に調べた3.3節のメモ。この辺全く詳しくないのでなんか間違いがあるかも。多くの場合評価は同一エンティティを指す言及の集合に対して行われる。3つを同じエンティティに対する言及の集合だと考えているにも関わらず結果が異なってしまう。Conference)上記の問題を解決するために,MUCでは「正解データのそれぞれの集合を生成するのに必要となるリンクのうちいくつをシステムが生成したか」でRecallを,逆に「システムが生成したそれぞれの集合を生成するのに必要となるリンクのうちいくつが正解データに含まれていたか」でPrecisionを評価する。p97の図が分かりやすい。システム出力におけるエンティティの数。(分母)で,そこからエッジが1本減るごとに細かいグラフに分かれる(分子)ので,逆に言うとグラフがどれだけ細かく分かれてしまっているかで足りないエッジの数が計算出来るということ。CEATが提案されたらしい。(B-CUBED)での計算式は以下の通り。まで)して各要素ごとのRecallを出し,その平均を取って全体のRecallとしている。CEAFはスコア計算時にスコアがよくなるように対応付けを取った上で計算をするタイプ。いくつかバリエーションがある。Precisionの重み付き平均を取るだけ。個あるからある種の重み付き平均を取っている。タスクの目的の1つはモデルがどの程度文章を理解できるのかを測ることであり,コンテキストとなる文章を読んで関連する質問に答えられるかを問うことでそれを行う。あるデータセットに設定された問題が解けるということが本当にその文章を理解していることになるのか?(十分条件なのか?)と言われると実はそれはそうでもなく,例えば質問文とほとんど同じ文がコンテキストの中に表れる場合など,コンテキストを理解していなくても質問文とのマッチングを取るだけで解けるような問題が作れてしまう。逆に,文章が幼児向けのものであっても質問への回答には多くの推論や常識の把握が必要となるようなものも存在する。Readability(文章の長さや単語の種類の多さなど,文章を読むために必要とされる能力)の2つに分けて考え,最近の主なデータセットについてアノテーションを行いその難しさと,またその2つの能力がどの程度相関するのかを分析している。skillsが高くReadabilityが低いデータセットほど使い勝手が良いということになるのかな。対象データセットに入っていない。Testは元が子供向けの文章であることからReadabilityがかなり低い。Readabilityの相関関係については正直あんまり無さそう。skillsは質問文をどう作るかで大半が決まるわけでそりゃそうだよねという感じ。今のRCタスクは大体必要な箇所の1文を読むだけで解けてしまうような問題ばかりだということらしい。新し目のデータセットで精度競争を繰り返すだけになりがちなRCタスクで、そのタスクが解けると何の能力があると言えるのか?をちゃんと分析しているあまりないタイプの研究。skillsが低く,そうなると多分単純にコンテキストの狭い範囲と質問文とのマッチを適切に取れるかがかなり重要になるのだろう。逆にモデルに◯◯を理解させたいと思って新しい提案手法を考えても,使うデータセットによってはその能力を必要としない場合があるわけでちゃんとモデルの提案or評価時に実際のデータを意識しなきゃいけないなあという感想。スライド最近の主なQAのデータセット一覧*1:ここの理由が良く分からなかった。言語モデルとjointlyに共参照解析をして文章中のエンティティへの言及を元にその分散表現の更新を動的に行い,現在の隠れ状態に加えて最近登場したエンティティの分散表現を考慮することで性能を良くしましたという話。提案手法ベースラインは普通のRNN言語モデル。0/1)(文章中に出てきたどのエンティティであるかのインデックス。入る)(複数語から構成されるエンティティについて、その単語を含めて残り何単語か)を各タイムステップの隠れ状態から推定しながら単語を読み進めていく。具体的なアルゴリズムとしては各時刻以下の処理を繰り返している。