Gin04ghデータ分析業務、予測モデル開発などを担当しています。勉強してきた技術などを適当に書いていければと思います。Python、R、SAS、JavaScript、PHP、Rubyらへんが得意です。).push({});Google子会社DeepMind社により開発された、人工知能を搭載したコンピューター囲碁プログラム「AlphaGo(アルファ碁)」の活躍により、深層学習や強化学習の注目度がさらに上がった気がします。Q-Network、以降DQN)で解いてみます。DQNを使うほどの問題ではないのですが、実装の勉強のため、簡単な問題で解いてみました。近似関数を深層学習で求める手法です。当たる確率を下記で更新します。セットは、互いに相関のないものを使った方が収束が早くなるそうです。保存しておいて、そこからランダムにミニバッチ分取り出し、確率勾配降下法でニューラルネットワークの重みを更新していくようです。Lakeの環境の説明については、前回記事と同様なので省略します。ニューラルネットワークの実装には、下記らの記事と同様、フレームワークのChainerを使いました。).push({});RNNの実装の勉強もしました。今回は整理と備忘録も込めて、Chainerでニューラルネットワーク、リカレントニューラルネットワーク、畳み込みニューラルネットワークの実装について記します。).push({});追記(2017-06-20)再帰的ニューラルネットワークも実装してみて、再度まとめました。本年もどうぞ、よろしくお願いいたします。機械学習系のライブラリは去年から何かしら使ってみたいなーと思ってい...実装が下記になります。https://github.com/Gin04gh/open_ai_gym/blob/master/DQN_NN_FrozenLake.ipynb上記、移設しました。__name__=="__main__":main()無事、学習しているようです。問題が離散だからまだ処理が出来ましたが、これが例えばDeepMind社のようにAtariのゲームとなって、状態をゲーム画面(画像)として入力する(畳み込みニューラルネットワーク)となると、いよいよマシンスペックの問題になってきます。追記(2017-09-07)上記はニューラルネットワークでしたが、Atariの論文ではCNNでしたので、同じ問題ですが、無理やりCNNにしてみて実装してみました。下記がコードになります。https://github.com/Gin04gh/open_ai_gym/blob/master/DQN_CNN_FrozenLake.ipynb上記移設しました。https://github.com/Gin04gh/datascience/blob/master/open_ai/ddqn_cnn_frozenlake.ipynb問題なく学習していそうです。追記(2017-10-15)PyTorchによる実装になりますが、連続値のゲームに対してもDQNを実装してみました。Q-Network(DQN)を、やっぱり離散的な状態を返す簡単なゲームでなく、連続的な状態のゲームにも適用してみたいと思い、久しぶりにまた勉強しました。最近の深層強化学習の研究を見てみたところ...DQNからさらに改善された研究についても少し勉強してみました。コメントをキャンセルメールアドレスが公開されることはありません。・掲載されている広告について当サイトでは、第三者配信の広告サービス(Googleアドセンス)を利用しています。使用することがあります。Googleアドセンスに関する詳細やこのような情報が広告配信事業者に使用されないようにする方法については、こちらをご参照ください。・使用しているアクセス解析ツールについて当サイトでは、Googleによるアクセス解析ツール「Googleアナリティクス」を利用しています。このGoogleアナリティクスはトラフィックデータの収集のために『Cookie』を使用しています。このトラフィックデータは匿名で収集されており、個人を特定するものではありません。『Cookie』を無効にすることで収集を拒否することが出来ますので、お使いのブラウザの設定をご確認ください。この規約に関して、詳しくはこちらをご覧ください。