blogこの広告は、90日以上更新していないブログに表示しています。Learningこの記事は2017年に書きかけのままだったブログ記事の供養です。今2018年年始なので、NIPS参加報告も目立つ中、4ヶ月遅れくらいですが書きかけだったICML2017の参加録をひとまず投稿しておきます。私自身は自然言語生成のワークショップで発表をしてきました。強化学習系のセッションを中心に聞いていたのでどんな研究や発表が傾向として多かったかをまとめます。このブログは内輪で参加報告をしたスライドを簡単にまとめたものなので、より詳細には発表スライドを参照ください。docs.google.comホットトピックまずは発表が多かったトピックについて簡単にまとめたいと思います。強化学習一般の基本的な知識については仮定した上で説明します。既存のDQNやA3Cといった有名な深層強化学習アルゴリズムは基本的に環境のモデルをブラックボックス的に扱うモデルフリーのアルゴリズムですが、今回はモデルベースの深層強化学習アルゴリズムがいくつか登場して目立っていた印象です。実用の観点からは推定したモデルを使ったプランニングが出来るようになると実用への大きな一歩になると感じます。環境のモデルが既知で推定する必要がない囲碁AIなどのドメインでの成功を見ると、次は(環境の)モデルを推定する必要がある問題で、これをうまく推定して活用しようという流れがあるのは自然な気がします。理論的な側面からの興味深さが際立ちます。最適化したい期待収益にエントロピーも考慮すると、Soft-Qから定まる最適方策と方策勾配法で最適化して求まる最適方策が一致します[4,5]。これは価値ベース・方策ベースの手法の統一的な見方が出来るやもという点でとても面白いです。