ID:CAP_USER強化学習は、いわゆる「ビッグ・ベビー問題」に直面している。強化学習は、設定した目標を達成するために報酬と罰を用いる機械学習の手法の1つだ。強化学習アルゴリズムの効果を測るためのベンチマーク・タスクとなっているアタリのビデオゲームやシミュレーション環境は自然界の複雑性を反映していない。その結果、強化学習のアルゴリズムは現実世界の問題と向き合うことなく洗練されていき、決定論的で狭義に定義された環境の外で活動するにはあまりに脆弱になってしまう(「ビッグ・ベビー」と呼ばれる意味がお分かりいただけるだろうか)。これでは、変化し続ける物理環境に適応できるロボットを最終的に開発するという強化学習の目的を達成できない。水を注ぐようにロボットを訓練するのであれば、どんな流し台でも水を注げるようにしたいはずだ。ビデオゲームで強化学習アルゴリズムのベンチマークをすることは、「1つの流し台で訓練、試験、評価をする」ようなものだと、マギル大学の博士課程生であり、フェイスブックのAI研究チームでパートタイム研究者を務めるエイミー・チャンはいう。ID:7/D1hDGj日本語なら「畳水練問題」と言うのが判りやすいと思う。ID:M/4wcvBq>>2畳の上の水練は小さなプールでも泳げない可能性があるが、一つの水路では泳げるのだからその命名は間違いだ。ID:nf0WFDTE>>9さんが書いている「過学習(過剰適応)」問題とどう違うんだろう。状況が異なる環境に遭遇したときにその対応につまずいてしまうこと。ID:b3/3juwk1970年代の第一次AIブームの時に躓いたところで同じように躓いてるね。東ロボくんの躓きと遠因は一緒。事象の複雑さに対応できないという問題なので、まあそれなりに近いのではなかろうか。未対応な事象が来たら改めて学習、みたいな構造にAIはなっていくと思うよ。ID:2SEFU7I6>どんな流し台でも水を注げるようにしたいはずだ。これが間違ってるんだと思うが。ID:nf0WFDTEだから「学習(適応)もほどほどに」というわけだ。フレーム問題とは何だろうか?情報処理(計算)が天文学的なことになってしまうやつか?それも関係があるかもしれないね。今のコンピュータでは明らかに制約条件だ。ID:reT1J6Cvそもそも、いまのDNNって人間っぽい知覚に適しているのは分かったけれど、意思決定みたいなものも同じ仕組みでなんとかなるの?動物や虫みたいなものは模倣できても、人と同じレベルになるには、まだまだブレークスルーが必要そうに思えるんだが。ID:izq5q/hNリムパックベンチマークに全精力を傾けて、それだけを計算機の指標として計算機システムを開発したりシステムを整備してきた日本はこれを笑えない。ID:nf0WFDTE北極に最も適応した動物がいたとして、その動物は北極では子孫繁栄競争で最も有利。ところが、地球温暖化という環境変化が急激に起こると、それが致命的になってしまう。北極に最適化されていたことが強みだったのに、それが逆に最大の弱みになってしまう。ID:/tszibZd虫のレベルにさえ追いつかない。ID:ovKr85nkんなもんコストの問題だろ。アンテナ異世界アンテナアンテナαまとめサイト図鑑パッとま!2chまとめのまとめアンテナ速報アニポワニアンテナエクストラオカルト・アンテナみんなのアンテナウキウキアンテナ金は命より重いアンテナバンク2chまとめのまとめアンテナ5chまとめのまとめみんなのアンテナ名無しアンテナまとめニュースヤフーアンテナまとめツール2chまとめくすアクセスランキングパーツを表示するにはJavaScriptを有効にして下さい。