情報の1例として、弊社で行った開発事例を紹介します。昨今では、システム自体の複雑化、ステークホルダーの多様化、ユーザーニーズの変化によって、システム設計の重要性が高まっています。)のバランスを取ることを目的とします。「メカ」「エレキ」「ソフト(制御)」のドメイン設計に依存せず、システムを「サービス」として捉え、全体最適を目指した検討が必要です。システムを表現するためには、効率的な表記方法とコミュニケーション方法が必要となります。複雑なシステムでの検討を効率的に行うには、「モデル」を活用する事が求められます。・モデルベース開発のメリット「モデル」は、関係者間のコミュニケーションを円滑にするための共通言語です。自然言語による曖昧さを排除し、関係者の共通理解を担保することを目的とします。いうピックアップが多くされています。それは事実の一部ではありますが、深層学習の強みは「ある関数を近似出来る」事です。ある関数とは既存の関数(アルゴリズム)であったり、人間が作ることが困難な未知の関数であったりと様々で、それら関数を近似し、その推定を行うことが可能です。前述の通りある関数を近似することが強みですが、それを現実化する為の特徴が大きく分けて3つ存在します。・深層学習のユースケース深層学習は計算量が膨大な既存アルゴリズムに対しても高速化が有効であり、また人間が開発することが困難な未知の関数に対しても有効です。今回の展示会では、強化学習の中でもQ学習と呼ばれる既存アルゴリズムの膨大な計算量を深層学習により近似・超高速で推論することで、リアルタイムでの処理を可能としています。FPGAといったSoCを活用するのが望ましくあります。無線通信を用いる構成としています。?まず強化学習とは、人間が与えた報酬関数に従って試行錯誤を繰り返すことにより、報酬を最大化する一連の行動を学習するモデルです。逆強化学習は、対象となる行動サンプルを元に報酬関数を推定する仕組みになります。確率モデルと最大エントロピー計算などから人間が設計する事が難しい報酬関数を比較的少ない教師データから生成することができます。ゴール地点のなどの属性を判断し、人間の操作記録から走行ルートを策定後、ゴール地点へ自動走行します。実際に障害物・経由地点を自由に配置して頂けます。属性を学習データから見出すことにより、人間が言語化・定義できない事象も抽出することが可能になる。学習させたアルゴリズムは一定の汎用性・転用性もある。逆強化学習の応用事例として、下記領域において活用の可能性があります。TensorRTTMは、学習済みモデルの最適化を行うツールです。実車搭載を考慮した際に、エッジデバイス特有のリソース制限の厳しいハードウェアに対するアプローチが可能です。TensorRTTMを使用することでJetsonなどのエッジデバイスに対し学習済みモデルの搭載が容易にできるため、採用しました。Xavierを2台使用し、同じ学習済みモデル(Caffe)で一方はCaffeを使用した推論処理、もう一方はTensorRTを使用した推論処理を動作させています。画像1枚に対し最も認識率の高いクラスについて、クラス名称と確度(%)を出力しています。Dataset(http://www.robots.ox.ac.uk/~vgg/data/pets/)を使用しています。TensorRTTMだけでなく、組み込みソフトウェアへの推論環境の実装などに最適となるツールの選定・実装に取り組んでいきます。「人間が運転する車」が混在している際に、ある一定時間で各車両がどういった挙動を行うか。求められるモデル精度やロバスト性を評価するためのシミュレーションを行う連携システムの開発を行っています。リアルタイムで連携させて車両群の中で自車両・他車両の動きをシミュレートする。間を連携させており、今後は+Simulink等の制御連携を含めた開発にも取り組んでいきます。交通流の中に自動運転車といった特殊車両を配置した際の流量計算を行う。交通流の変化は勿論、渋滞や事故が発生するか等の検証が行える。モデルの検証を実施が可能で他車両の挙動から減速・レーンチェンジなどの妥当性を検証が行える。Vissimで生成される他車両(交通流)が交通流量計算に基づいて生成される為、実環境により近いシミュレーション環境が再現される。【開発事例】PROPHESEE未来の行動予測イベントベースカメラを用いた移動体行動予測デモンストレーション従来のカメラではデータ量が重く処理にもある程度の時間を要する為、未来の行動予測を行うのは不向きであるが、PROPHESEEでは画素自体が時系列情報を持っている利点をニューラルネットワークを用いて未来の移動地点の予測をさせる。PROPHESEEとは?イベントベース方式のセンサーで、従来のカメラのように一連のコマ画像を処理するフレームレート方式に比べ、イベントベース方式はデータが軽い為、処理が速い。Detection”は光量変化のみを映している。デモンストレーション概要パスプランニングや落下物の検出など数秒後の移動地点を予測するニーズから光量変化を捉え、変化毎にピクセルを送出するイベントベースカメラPROPHESEEを用いて未来の行動予測のコンセプト実証を行っています。従来のカメラではデータ量が重く処理時間を要する為、未来の行動予測を行うのは不向きであるがPROPHESEEの処理が軽い利点を用いて数秒後の行動予測を行う。memory)を用いて動体の○秒後の移動位置を予測しています。1例として、弊社で行った開発事例を紹介します。Learningによる熱情報からの物体認識―サーマルセンサーから取得できる熱情報により物体をリアルタイムに検出することができます。この開発を進める中で、多くの苦労した点や工夫した点があります。工夫した点は、人を映した時に人と判断できるように人以外を含めた20種類のカテゴリー学習だけでなく、人の一部のみ移った画像も学習させることで人の特徴抽出に特化できるようにしたことです。学習データの撮影は社員に手伝っていただき作成しましたが、人の画像だけでも1,000枚を超えるデータを作成しました。次に苦労した点は、物体認識の学習済みモデルをサーマル画像用に転移学習させる際、GPUメモリが足りなかったことです。クラウドのGPUインスタンスを活用して先に進めることができました。用意していたサーマルセンサーがWindows専用であり、Linux(Ubuntu)に対応していなかったため、ドライバを作りこむ必要がありました。ここでまた問題が発生しました。当初V4LからはRGB値でセンサーの値が取得できると考えていたのですが、RGBモードに対応していませんでした。そのため、センサーのレンジ情報を加工しました。テストでは冷凍食品をセンサーの前に持ってきてみたり、ライターで火を撮ったり、熱湯の入れたカップを撮ったりするというような地道な作業もありましたが、無事に開発することができて達成感を感じることができました。~参考として、実際に撮影した動画を公開します。赤色で囲まれた枠の左上に人なら”Person”、車なら”car”と表示されます。