5日目のエントリです。Applications?を読んだので、それについて書きます。Learning)がうまくいっていると報告されています。sideで学習させるデータ量も少なめでもよい精度を出る(ことが期待できる)深層学習で問題になりやすい過学習の問題を回避しやすくなるなどのメリットがありそうです。learningなどが有名。余談だが、特にEasyAdaptはむかつくほど簡単なのにうまく行く)、深層学習の場合では、うまくいったと報告している論文もあれば、あまり精度は向上しなかったと報告している論文もあります。この論文は自然言語処理での深層学習の有効性について、システマチックに調査することを目的としています。それぞれ転移させる/させないの組み合わせで実験した結果を報告しています。結果としては、画像ほどうまく行かないといった感じの結果になっているようでした。世の中甘くはなかった...。classificationのタスクに分かれます。それぞれのタスクにおいて、あまり難しいネットワーク構造は出てきません。classificationのタスク3つのデータセットからなります。文がpositiveかnegativeかを分類させるタスク(IMDB、MR)文が場所、時間、数など(6種類)のどれについて聞いているかを分類させるタスク(QC)の2つです。QCだと意味的に大分違うタスクを解かせていることになります。解かせる方法は基本的なLSTMで、最後にsoftmaxでどれかのクラスを吐く構造です。論文よりネットワーク構造の図を引用します。classificationのタスク3つのデータセットからなります。文のペアのentailmentを認識させるタスク(SNIL、SICK)2つの文が同じ意味を持つかどうかを当てるタスク(MSRP)解かせる方法はCNNベースの方法で、そんなに凝った方法ではありません。ネットワーク構造の図(論文より引用)を載せておきます。転移学習の方法これも大きくわけで2つ用意しています。sideで使うという方法(INIT)。sideの初期値として利用するというものです、それだけ。2つ目は転移学習というよりはマルチタスク学習として解く方法(MULT)。目的関数をそれぞれのタスクの線形和でつないだものを一度に学習させます。論文ではMULTとINITを組み合わせた方法でも実験されていますが、それほどうまく行っていないので省略します。論文では色々結果が書いてありますが、全部書いていると長くて疲れるので要点だけまとめます。いい感じの実験結果ではないですが、知見が共有されたという感じの論文かな...。自然言語処理の深層学習で転移学習がうまく行くかどうかはタスクが意味的にどれくらい似ているかにかなり依存する似ていないタスクだとかえって下がることもある出力層はほとんど転移できないものだと思っておいてよい。いい論文をあ...2017-11-13IBIS2017の聴講ログ今年で20周年のIBIS2017に仕事で聴講参加しました。(1)スターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。