本記事はロボットとAI技術の専門誌『日経Robotics』のデジタル版です[画像のクリックで別ページへ]深層強化学習をロボットの制御などに適用する際の課題の1つは、環境や制御対象自体に起因するいくつもの制約条件を、ニューラルネットで表現する制御器(policy:方策)にどのように反映するかである。強化学習で数々の動作を試す中から、これらの制約も考慮した方策を学習できる可能性はあるが、非常に多くの試行回数が必要な上、実機に適用した場合に制約を越えた動作をしてしまい、破損や故障をもたらすことがある。日本IBM東京基礎研究所は、この課題を解決する手法を開発している。深層強化学習で開発した行動生成用ニューラルネット(方策)が出力する制御の指示を、制約条件を満たすように修正する方式である。制約条件をあらかじめ人手で記述する方法に加え、人が実行した多くの模範例を基に、行動生成用とは別のニューラルネットに制約条件を学習させる方式も用意した(図1)1-2)。同社はこれらの方式を使った実験で、制約条件を満たしつつ適切な行動を生成する制御方策を作成可能なことを確認済みである注1)。事例紹介:3D活用で消費財業界をサポート現実世界とデジタル世界を結ぶアナログ技術あらゆるモノを安全&セキュアにつなぐサポート体制強化で市場シェア拡大へ/ST7nmや5nmノードを見据えた電源技術いま押さえたい経営力向上の鉄則2025年の崖を飛び越えるIT戦略とはセキュリティも万全な新IoT向けマイコン500万社が導入。企業文化を変えるツールIT製品・サービス導入に関するアンケートインテルテクノロジーとデータセンター管理おまかせ問い合わせスキルや年収をアップさせたい!そんなご相談も転職のプロにお任せ。※ご利用には日経TECHキャリアへの会員登録(無料)が必要です。