ブログではないですスマートフォン用の表示で見るブログではないですブログでなくはないですこの広告は、90日以上更新していないブログに表示しています。それらの文にAutoEncoderを使って構築される分散表現をより近いものにしよう、という研究。することによって、同じく対応し得る別の文と遠くなってしまう欠点はあるが・・・と言っていた。それぞれ取り出す操作のこと。min/maxをinputとしてavg/stdを出力とするタスク(もしくはその逆)を学習させている。してこうすることでAutoEncoderの学習がより良くなると思ったのだろう?よくわかっていない。この設定のもと、筆者が行った工夫としては以下の2つ。Encodeされた時点で言語共通のパラメタになっていなければいけない、という制約を与えることができ、ついでにDecode側の行列に対して与えられるデータも増える。2についてはそもそも言語間での文の対応は一対一ではなく多対多なところがあったり、データ中でもきっちり対応関係が有るとは言えないものが大量にあるので文単位では制約として厳しすぎてノイズになってしまう。そのためバッチごとに緩く全体で距離を近づけており、そこも既存研究との違いだと言っている。最終的な目的関数は以下の通り。(論文式(10)より)がそれぞれの言語でのAutoEncoderの損失、が言語間の距離。Sycara)Posterより。ある単語が属するカテゴリについてもembeddingがあるとクラスタリングや学習の素性として便利なのでどうにかして作ろうというのがモチベーション。wordが出現する確率の和を最大化している。やっていることは目的関数の中でtargetの上位カテゴリについても条件付き確率をそれぞれ計算して、重み付け和を取っているだけ。wordのカテゴリとの階層の差に反比例する形で和が1になるように定義している。Sumita)Posterより。PBTモデルにおけるalignmentほどしっかり単語の並びを学習している訳ではない。NMTで50.6%と結構差が有る。そこで、attentionの部分だけGIZA++の結果に対して教師あり学習してやるというのが提案手法。学習したweightは(おそらく)翻訳モデル全体の訓練の中では更新されない。alignmentを外部で学習した方が結果が良くなる、というのは面白かった。はじめとして手法が検討されている。この研究における手法としては入力文の各単語とのPMI平均が最も高いキーワード(名詞)を先に推定し、その後そのキーワードを起点としてRNNで前後の文を生成するというもので、3種類の生成方法を提案しており、3.のasyn-B/Fが最も自然だと考えている。model評価は人手評価・BLEU・生成文のEntropy平均で行っている。人手評価は0/1/2の3段階(Pointwise)と、純粋なseq2seqと比べてどっちが良いか(Pairwise)結果は下図。ICLR'18]月別アーカイブはてなブログをはじめよう!jack_and_rozzさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。