Models」の意訳です。Erhanさんによる投稿です。私たちの世界モデルは、4つのフレームを用いて次のフレームと報酬を予測するフィードフォワード畳み込みネットワークです(前述の図を参照)。Atariのゲーム場合、前の4フレームの範囲だけで予測すると、未来はまだ定まっていません。Pong(訳注:シンプルなホッケーゲーム、ブロックがないブロック崩し)でボールがフレームから外れてリスタートする時など、4フレームを超えるゲームの一時停止は、モデルが予測に失敗して後続のフレームを正常に予測できないことがあります。私たちは、このような確率論的問題を、以前の研究に触発されて、こういった状況により上手く対処できる新しいビデオモデルアーキテクチャで処理します。Master(訳注:オリジナルはアイレムのアーケードゲームであるスパルタンXですね。2600に移植しています。映画が元ネタなのですが映画のストーリーとゲーム内容が全く関係ないのが印象に残っているゲームです。)に適用したときに見られます。このアニメーションでは、左側がモデルの出力、真ん中が本当のゲームの画面、右側のパネルが両者の画素単位での違いです。この例ではモデルは異なる数の敵を予測しており実際のゲームから逸脱しています。各反復において、世界モデルが訓練された後、私達はこの学習済みシミュレータを使用して、ゲームのプレイポリシーを改善するために使用するロールアウト(すなわち一連の行動、観察および結果)を生成します。Optimization)アルゴリズムが使用されています。SimPLeを機能させるための1つの重要な事は、ロールアウトのサンプリングが本当のデータセットのフレームから始まることです。予測誤差は通常、時間の経過とともに大きく複雑になり、長期的な予測が非常に困難になるため、SimPLeは中規模のロールアウトのみを使用します。幸いなことに、PPOアルゴリズムはアクションと報酬の間の長期的な効果をその内部価値関数からも学ぶことができるので、Freeway(訳注:日本で言えば、フロッガー的なゲームです。左右から来る車にぶつからないように鶏を操作してハイウェイを上下に突っ切らせるゲームです。下の方に実際のプレイ画面が出てきます。)のようなまばらな報酬のあるゲームでも限られた長さのロールアウトで十分です。成功を測るの1つの尺度は、モデルが非常に効率的であることを実証することです。このため、10万回ゲームをプレイさせた後のポリシーの出力を評価しました。これは、1人の人間による約2時間のリアルタイムゲームプレイに相当します。26種類のゲームで、私たちのSimPLeを使った手法と最先端のモデルフリー強化学習であるRainbowとPPOとを比較しました。ほとんどのゲームで、SimPLeを使ったアプローチは他の手法よりも2倍以上優れたサンプル効率を達成しました。SimPLeを使用して達成されたスコアと同じスコアを出すために、それぞれのモデルフリーアルゴリズム(左:Rainbow、右:PPO)が必要としたインタラクションの数(訳注:ゲームプレイ数の数)。赤い線は、SimPLeが使用したインタラクションの数を示しています。SimPLeの成功SimPLeアプローチの素晴らしい成果は、PongとFreewayの2つのゲームで、シミュレートされた環境で訓練されたエージェントが最大スコアを達成できるということです。以下は、Pongで学んだゲームモデルを使用してエージェントがゲームをプレイしているビデオです。下に示すように、Freeway、Pong、およびBreakoutの場合、SimPLeは最大50ステップ先まで、ほぼ実際のゲーム画面に等しい等しい予測を生成できます。SimPLeは、Breakout(上)とFreeway(下)のゲーム画面を画素単位で完全に予測できています。左側がモデルの予測出力、真ん中が実際のゲーム画面、右側が両者のピクセル単位での違いです。SimPLeの驚きしかしながら、SimPLeは常に正しい予測をするわけではありません。一般的な失敗は、世界モデルが「表示は小さいけれども非常にゲーム内容に影響を及ぼすオブジェクト」を正確にキャプチャまたは予測できていない事です。Eye」ではエージェントが様々なシーンをテレポートして移動します。私達のモデルは一般にこのような大規模な画面の変化を捉えるのに苦労している事がわかりました。Battlezoneでは、弾丸のように小さいけれどもゲーム内容に関連性のある部分を予測する事にモデルは苦戦しています。まとめモデルベースの強化学習の活躍が見込まれるフィールドは、ロボットが行っている多くの作業のように、実際に経験させる事が高価、もしくは時間がかかる、または人間によるラベル付けを必要とするような環境です。そのような環境では、学習シミュレータはエージェントが周辺環境をよりよく理解することを可能にし、マルチタスク強化学習を行うための新しく、より良くそしてより速い方法を導きます。SimPLeは標準的なモデルフリー強化学習のパフォーマンスにはまだ及びませんが、サンプル効率では実質的により効率的です。今後の作業により、モデルベース手法のパフォーマンスが更に向上される事が期待されます。あなたがあなた自身のモデルの開発や実験を行いたいならば、私達が公開しているGitHubリポジトリとColabを見てください。そこでは事前に訓練された世界モデルと今回の研究を再現する方法についてのインストラクションが公開されています。謝辞この研究は、イリノイ大学アーバナシャンペーン校、ワルシャワ大学およびdeepsense.aiと共同で行われました。Michalewskiに特別な感謝をしたいと思います。コメントをキャンセルメールアドレスが公開されることはありません。=心に響いた言葉8.2時間が理想の睡眠時間だとすれば、平均睡眠時間が7.5時間の彼らは長い間「毎日40分の睡眠負債」を抱えていたということになる。それが正常な8.2時間に回復するまでに3週間もかかった。ーつまり、40分の睡眠負債を返すには、毎日14時間ベッドにいるのを3週間続けなければいけないのだ。・・・日ごろの睡眠不足を1日2日で解消しようというのは現実的には無理なのだ。WordPress.。