Rewards」の意訳です。Norouziさんによる投稿です。強化学習(RL)はゴールが定まっている行動を最適化する統一された柔軟なフレームワークです。人工知能にビデオゲームでハイスコアを記録させたり、何かを継続的にコントロールさせる作業やロボット学習など、従来は困難だった作業で著しい成功を可能にしました。これらのアプリケーション領域での強化学習アルゴリズムの成功は、高品質で高密度の報酬フィードバックループを利用できるかどうかにかかっています。まばらでかつ仕様が曖昧な不十分な報酬を伴う環境に強化学習アルゴリズムの適用可能性を広げることは現在も研究されている挑戦的な課題です。これは、強化学習エージェントが限られたフィードバックから一般化する(すなわち正しい行動を学ぶ)事を要求します。訳注:例えば、「バスケットボールをゴールに入れる作業」などでしたら、人工知能がボールを投げる度に「ボールが輪に触れたら0.5点、ボールが網に触れたら0.1点、ボールが輪の中に入ったら10点」等々のアクションに対してフィードバックが毎回発生し明確です。problem)」が良くわからないので強化学習が難しいという事です。余談ですが、人間の脳も「報酬がめったに得られない」「どの行動が報酬に紐づくのか明確にされない」環境ではやる気を失うでしょうから、強化学習は本当に人間の脳に似てますね。このような問題設定で強化学習アルゴリズムのパフォーマンスを調査する自然な方法は、言語理解タスクによるものです。失敗のフィードバックのみを受け取ります。一連の自然言語コマンド(右、上、上、右)をたどることによって迷路の中で目標位置に到達することを任務とする「盲目の」エージェントを考えてみましょう。入力テキストが与えられると、エージェント(緑色の円)はコマンドを解釈し、その解釈に基づいてアクションを実行してアクションシーケンス(a)を生成する必要があります。エージェントは、目標に到達した場合は1、それ以外の場合は0の報酬を受け取ります。エージェントは視覚的な情報にアクセスできないため、エージェントがこのタスクを解決して新しい指示に一般化する唯一の方法は、指示を正しく解釈することです。a3は指示に従っていません。reward)」の問題を示しています。これらのタスクでは、強化学習エージェントはスパース(疎)な報酬(少数の行動だけがゼロ以外の報酬につながる)および仕様が曖昧な報酬(意図的な成功と偶発的な成功の区別がない)から一般化したルールを学ぶ必要があります。重要な事は、仕様が曖昧な報酬が設定されていると、強化学習エージェントは環境内で様々な想定外の行動を行って報酬を受け取ろうとするかもしれません。これは報酬のハッキングにつながり、現実世界のシステムに配備されたときに意図しない有害な行動を引き起こす可能性があります。余談:報酬が不明確だとズルや不正や想定外の行動に繋がる危険性があるというところもとても人間に似ています。Learning(MeRL)を開発することによって、仕様が曖昧な報酬の問題に対処します。コメントをキャンセルメールアドレスが公開されることはありません。=心に響いた言葉スティックゴールドの処方箋はじつに単純明快だ。だれでも一日に八時間半眠りなさい、というものだ。WordPress.。