Learning」の意訳です。Francisさんによる投稿です。強化学習を使ってロボットを学習させる研究は様々なものが発表されていますが、ニューラルネットワークを自動で作り上げるAutoMLの強化学習版であるAutoRLを使って、街にお使いに行かせる事が出来るレベルのロボットを開発しようと言うお話です。米国だけでも、300万人もの人々が、自分の家から外出する事が困難な運動障害を持っています。自律的に長距離を移動できるサービスロボットは、例えば、食料品、薬品、および荷物を持ってくることによって、移動に困難がある人々の自立性を高めることができます。深層強化学習(RL)は生のセンサー入力を望ましい行動にマッピングする能力に優れている事が研究によって実証されています。視覚センサーからの情報を元に物をつかむことや四足ロボットの移動などを学習する事です。強化学習エージェントは通常、広大な物理空間についての理解を欠いています。物理空間についての理解は、人の手を借りずに長距離を安全に移動したり、新たな空間に容易に適応するために必要です。planning)を組み合わせることによって、初めて経験する環境にも適応可能な自律型ロボットを研究しています。障害物との衝突を避けながら近距離を安全に移動する基本的なナビゲーション動作を司る機能を「ローカルプランナー」と言います。Ranging:光検出と測距)などのノイズの多いセンサーで観測を行い、ロボットを制御するための線速度と角速度を出力します。私達は、ローカルプランナーを、AutoRLを用いてシミュレーションで訓練しています。AutoRLは、強化学習の報酬関数およびニューラルネットワークアーキテクチャの探索を自動化してくれます。ローカルプランナーの対応可能な範囲は10~15メートルという制限があるにも関わらず、AutoRLでシミュレーションしたローカルプランナーは現実世界のロボット操作にも、これまでに見たことのない新しい環境にも上手に学習結果を流用できます。そのため、私達はこれをより広い空間でナビゲーションさせるための土台として使用する事にしました。私達は、ロードマップ、つまりノード(節)が拠点を意味し、各ノードは、ロボットがノイズの多いセンサーを使って実際の拠点間を移動可能な場合のみ線で接続されるようなグラフを作成しました。(AutoRL)最初の論文では、私達は小さな、静的な環境でローカルプランナーを訓練しました。Gradient)などの標準的な深層強化学習アルゴリズムを使用したトレーニングには、いくつかの課題があります。ローカルプランナーの真の目的は目標を達成することであり、これは疎な報酬です。実際の学習時には、研究者が報酬を手動で反復し微調整する事が必要になりかなりの時間を費やす事になります。研究者はまた、明確に認められたベストプラクティスなしに(つまり試行錯誤しながら)、ニューラルネットワークの構造をどのようにするか決定を下さなければなりません。最後に、DDPGのようなアルゴリズムは安定的でなく、しばしば学習結果を壊滅的なレベルで忘れてしまう事があります。これらの課題を克服するために、私たちは深層強化学習のトレーニングを自動化します。AutoRLは、大規模なハイパーパラメーター最適化を使用して最適な報酬関数およびニューラルネットワーク構造を探索する、深層強化学習を中心とした進化的自動化レイヤーです。これは、報酬関数探索とニューラルネット構造検索の2段階で機能します。報酬関数検索の間、AutoRLはDDPGエージェントの集団を数世代にわたって同時に訓練します。各世代はローカルプランナーーの真の目的に最適化したわずかに異なる報酬関数を持ちます。報酬関数検索フェーズの最後に、エージェントを最も頻繁に目的地に導く報酬関数を選択します。ニューラルネットワークアーキテクチャー探索の段階では、選択した報酬を使用してネットワーク層を調整し、プロセスを繰り返します。報酬関数とニューラルネットワークアーキテクチャの探索による強化学習の自動化しかしながら、この反復プロセスは、AutoRLがサンプル効率的ではないことを意味します。1つのエージェントを訓練するためには500万サンプルが必要になります。100エージェントを10世代にわたってAutoRLでトレーニングするためには50億サンプルが必要です。これは32年間のトレーニングに相当します!利点は、AutoRLによる手動トレーニングプロセスの自動化後では、DDPGの壊滅的な物忘れが出現していないことです。重要なのは、結果として得られるポリシーが高品質な事です。AutoRLが作成するポリシーは、センサー、アクチュエーター、およびローカライゼーションノイズに対して堅牢であり、トレーニング時に見た事がないような新しい環境にも対応可能なレベルに一般化されています。私達の最善のポリシーは、私たちのテスト環境内で他のナビゲーション方法よりも26%の成功率向上を達成しました。見た事のない建物内での行動(10メートル以内)の比較。Cloning(緑色)現実世界の非構造化環境におけるロボットにAutoRLローカルプランナーをポリシー転送したデモこれらのポリシーはローカルナビゲーションのみを実行しますが、障害物が存在する経路を移動する際も堅牢であり、非構造化環境(犬や人が突然経路を遮るような環境)でも実際のロボットを適切に制御します。これは静的な障害物のみを用いてシミュレーションで訓練されましたが、動いている障害物に対しても効果的に対処する事ができます。コメントをキャンセルメールアドレスが公開されることはありません。社会政治的な秩序を安定させるための近代の試みはすべてこれまで、以下の2つの非科学的な方法に頼りしかなかった。A)科学的な説を一つ選び、科学の一般的な慣行に反して、それが最終的かつ絶対的な心理であると宣言する。これはナチスと共産主義者が使った方法だ。WordPress.。