LearningとLSTMの関連技術TweetPocketこんにちは。次世代システム研究室のK.S.(女性、外国人)です。前回のブログでは、メタ学習(meta-learning)のコンセプトを紹介し、簡単な実装で、MAMLというメタ学習の有名なアルゴリズムを使って、東京の気温を予測してみました。今回のブログでは、もう少し深くメタ学習についての最新技術を勉強しながら、メタ学習の最新論文を紹介したいと思います。このブログの構成は、以下のとおりです。learning)という人工知能(AI)の学習技法が進化してきていて、人が見出せないことをデータから見つける専門的能力が高くなってきました。機械は沢山のデータから学習することで、よりよい判断が可能となり、ゲームで人間を打ち負かすことができるようになりました。人間ができることで、機械がまだできない主な課題が二つあります。ひとつ目は、人間は少ない経験からでもタスク内容が理解できますが、機械は理解するために沢山のデータを学ぶ(学習する)必要があります。一つは、人間はある条件だけを学んでも他の条件に適応することが可能ですが、機械の適応性はまだ不十分です。この二つの課題に挑戦するため、メタ学習という技術の研究が広がってきました。メタ学習とはなにか前回のブログでも紹介しましたが、今回は少しだけをおさらいさせて頂きます。学習プロセスを理解することで、機械が自分自身で人間のように、少ないデータ量でもタスク内容を認識し、他のタスクにも適応できるようになると期待されています。このため、多くの研究者がメタ学習に様々な機械学習技術を組み合わせて、より人間らしくなっていくアルゴリズムを発展してきました。learning)です。深層強化学習は機械が結果のよい報酬を期待し、行動を適化するように、試行錯誤を重ねる学習です。この前のブログでも話しましたので、参考にして頂ければと思います。これから話していく内容を理解するため、もう二つキーワードを把握することが必要です。MDPsは状態遷移が確率的に生じる動的システムの確率モデルです。MDPで天気の状態遷移を例として説明します。晴れの翌日の天気は50%の確率で晴れとします。今日が晴れた場合、明日は50%晴れ(確率=0.5)の可能性があります。明後日の晴れ確率は0.5×0.5=0.25なので、25%晴れの可能性があることが予測できます。同じような雨や曇の確率も計算できます。すると、様々な組み合わせが出てきます。様々の条件の確率値に対しての起こりやすさは確率分布として表見できます。MDPは天気の確率分布を利用し、現在の天気の状態を見て、次の天気の予測を判断するというプロセスになります。この後、MDPと確率分布という話がまた出てきますので、MDPに慣れていない方はこの二つの用語を覚えて頂ければと思います。実は強化学習の試行錯誤のプロセスもMDPのコンセプトを利用しています。LSTMは時系列データを解析し、将来を予測する技術です。cell)を作り、情報を記録していくようなものがありますが、LSTMはもっともっと長い期間を記録できるようにするため、思い出箱をベルトコンベアで繋いでいくようなアプローチをとります。state)と言います。セル状態のおかけで、LSTMは時系列的な情報を繋ぐことができるようになります。今後、セル状態の話が出てきますので、イメージを覚えて頂ければと思います。