第44回コンピュータビジョン勉強会@関東に(リモートで)参加しました。強化学習でとける問題はたくさんあり、部分観測問題を含めればだいたいとける。強化学習には時間がかかり、7000万回試行錯誤しても報酬は0のこともある。結果にもばらつきがあり、A3Cの論文でもモデルの初期化で大きくばらつきが出ている。(最適)ベルマン方程式が満たされるようにベルマンオペレータで関数を更新していけばだんだん最適関数に近づく。Q学習では収束が保証されているがDQNでは保証されているわけではない。Qでは教師あり学習的な損失関数に変更することで安定化させている。直近だけだと学習がうまくいかないので直近100万フレームセットのサンプルを再利用するとよい。DQNではパラメーターを交互に入れ替えて学習させて、たまたまよかった問題を解決している(ネットワークを2種類用意している)。Networksはネットワーク構造の方をいじっている。Learningではもうちょっと先まで見る。手法の比較論文ではこれらはDQNよりも抜くと影響が大きい。今まで聞いた中で一番よくまとまっていた。Minagawa強化学習に好奇心を埋め込むことで環境の探索を効率化する。予測がうまくいかないところを積極的に探索。単純なA3Cと違い、迷路のように報酬を与えらるのが最後の方でもうまくいく。ICMによりSparseなケースの方が手法による向上幅が大きかった。(ICCV'17)模倣学習には種類がありNvidiaの自動運転の論文では教師学習でやっているが事例がないところでは推定できない。逆強化学習(IRL)では事例からコスト関数を推定し、なるべくエキスパートに近くなるようにコストを最小化する。matchingのような方策を学習させている。資料を見る限り、事象を観測して模倣させる論文っぽい。観測値を転移学習させて未知の事象にも対応させる。Keisukeモデルが文を生成する際に教師データに近くなるように工夫することで学習を容易化。文全体の生成確率ではなく単語ごとに文をサンプルする。誤ラベルを含むデータ群の中から有用なデータを選出して学習する。検索エンジンの結果からある程度スクリーニングして認識精度が最もよくなる学習データの組み合わせを選び出す。OgataVideoに写った人の顔認証の精度をあげる論文。良さそうな画像をピックアップして精度をあげる。強化学習on時系列onCNN。既存のキャプション生成では評価指標を直接最適化したい、テスト時に外れ出すとエラーが蓄積するという課題がある。ENTROPYで次第にREINFの学習の割合を増やす。"自分も素人で理解していなかったので勉強もかねて発表する"という人もおり、マインド高くてすごいなあと思いました。NLPや音声処理はアカデミックが強くてconnpassで定例勉強会をたてて、とまではいっていない印象。"CV"勉強会のイデオロギー的矛盾を生じそうだが、NLPや音声処理縛りでもやっていけそうなパワーを感じました。〜いま使う!Rust〜に参加しました。Rustを支える...2018-05-04DL4USを受けた感想DL4USを受講し、無事卒業したのでその感想。#dllab言語・音声ナイト(エンジニア向け)に参加しました。NOMATAソフトウェア・エンジニア。スタートアップや上場企業で技術顧問をしています。Entries月別アーカイブはてなブログをはじめよう!hiromichinomataさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。