多くのメタ学習の研究では、様々なタスクの答えを見つけ出すため、タスクの順番を考えず、一つずつタスクを拾って、学習プロセスを学習し、繰り返して正解を見つけていきます。この時、機械に多くの情報を入力するため、沢山のタスクの中に、似たようなタスクや同じタスクが再び現れる可能性があります。そのような場合、メタ学習が同じことを繰り返し、再学習しますので、冗長な作業を行うことになります。よい学習効率を高めるため、理想的には、機械が以前の学習の結果を取得し、現在学習しようとしているタスクが再び学習するかどうかを認識した上で、再学習すべきかどうか判断する必要があります。現在のメタ学習システムではまだそのような想起(リコール)のサポートに適応していません。Recall」が誕生しました。論文のタイトルを見てみると、「とうとう、やった、メタ学習がエピソード的に想起できる」という話のニュアンスが感じられますが、具体的に、この論文ではなにができるのか、どうやってリコール問題を解決できるのか、を共有したいと思います。数式の詳細などは論文内で書かれているため、要点だけをお話ししたいと思います。論文が注目したメタ学習の問題解明化とその問題を乗り越えるための解析提案を簡単にまとめさせていただきます。上に述べたように、この論文は学習したことがあったタスクを無駄に再学習しないため、タスクの表現性、再発性が認識できるようなアイデアを提案しました。D)を定義し、m~DとしてMDPサンプリングを繰り返しています。mと共に確率論(stochastic)的なタスクプロセスのcontexts(コンテクスト、文脈)cを提案しました。MDPと共にコンテクストを付けると、学習内容を把握でき、学習するときのタスクの順番に追いつくことが可能になります。その順番はどうやって特定するのか、特定できたら、どうやって再使用するのかは次の課題になります。問題を乗り越えるための解析提案このセクションはタスクの再発時の特定と再利用というこの論文の主題になります。agentsを適応します。Learn(L2RL)」という論文に提案されたフレームワークを利用します。LSTMを組み合わせた技術です。細かく言うと、L2RLはメタ学習の一つの種類であるメタ強化学習のタスクの学習プロセスを効率よく学習するため、LSTMを適用するものです。agentsが含まれ、そのagentsがタスク分布するために適切な誘導バイアスを利用し、新しいタスクを探求するために学習します。L2RLはLSTM構造を利用しているため、タスク内の学習内容を取得することができ、早く新しいタスクを探検することが可能ですが、再発タスクを利用することがまだできません。system)を追加しました。state)と状況から得られる手掛かりを保存し、その後、似たような手がかりが見つかったら、記録セル状態を取り戻すことです。(DND)が適用されました。DNDは配列の各行にkey/value(キーと値)のペアを格納します。state)を表します。すると、タスク内容に基づいた過去の探査の結果を検索でき、L2RLでは情報が忘れられてしまう課題を解決することが可能になります。図1はこの論文が提案したモデルアーキテクチャと構造です。LSTM(eqLSTM)の組み合わせですので、epL2RLと定義されました。図1:モデルアーキテクチャと構想論文の図を転載eqL2RLの全体的な学習の流れはどういう感じなのかを説明させて頂きます。3を順番で学習していきます。カラーバーは学習終了具合をイメージしてください。濃い色は学習済みです。情報を復帰するための入り口)経由でepLSTMに読み込みます。ここまで、まだなにも学習したことがないのを認識した上で、学習が始まります。タスク終わると、タスクコンテクストとLSTMセル状態をDNDのkeyとvalueに書き込みます。それから、タスク2の学習が開始します。タスク1と同じくDNDから情報を取得し、タスク2はタスク1と違うコンテクストを認識して、最初から最後までタスクを学習していきます。終わると、タスク3の学習が続きます。ここに注目してください。タスク3はタスク1の再発です。タスク3の学習が開始するときに、DNDから過去の学習履歴を読み込みます。すると、DNDの情報から、タスク3はもう学習したことがあるのを認識し、r-gate経由でお知らせします。そこで、もう一度再学習する必要がなくなるので、r-gateが開き、同じタスクコンテクストでの学習済みLSTMセル状態がタスク3のLSTMセル状態に入れ替わってタスク3の学習は再学習せずに学習が終了にします。具体的にシステムの詳細構造の中に、epLSTMは普通のLSTMとどう違うのか、r-gateはどこに追加されたのか、見て行きましょう。図2を参考して下さい。グレーは一般的なLSTMで、彩色したものはepLSTMに新しく追加されたものです。注目していただきたいのはreinstatement-gate(rt)です。基本的に、LSTM自身は時系列解析に強く、過去の情報を利用しながら、タスクの中にある長期的な依存関係を学習することができます。著者がこのLSTMの強さを適応し、タスクの現在使用しているメモリと取り戻す状態の特別な関係を利用しました。普通のLSTMはゲートiとfがあります。この論文に復活メモリ状態が追加されました。このrはゲートiとfと同じように式が作られました。ゲートrがDNDにつながって、DNDを読み込むことができ、学習履歴で参考した上、タスクの再学習が必要かどうかを判断します。ゲートrが追加されたことで、eqL2RLが時系列で過去に学習したタスクを明確に認識し、学習効率が高めながら、人間らしく学習できるようになってきたと感じます。今回はメタ学習の最新技術の理論を紹介しました。実装的な実験はまだ行っていませんが、機会があったら、試してみたいと思います。最後に次世代システム研究室では、ビッグデータ解析プラットホームの設計・開発を行うアーキテクトとデータサイエンティストを募集しています。募集職種一覧からご応募をお願いします。一緒に勉強しながら楽しく働きたい方のご応募をお待ちしております。