以降ではTUMとキヤノンが開発したCNN-SLAMの構成の詳細を見ていこう。図3が全体の構成である。前述したように、前段でCNNを用いて距離画像を推定し、後段でRGB-D向けSLAMの処理を行っている。CNNによる距離画像の推定は毎フレームではなく、特定のフレーム(キーフレーム)に対してのみ行う。カメラ姿勢推定や最適化は毎フレーム行う。CNN-SLAMの処理の流れ入力のRGB映像からキーフレームのみを抽出し、学習済みのCNNで距離画像を推定。SLAMに掛け、複数フレームの運動視差などを基にしたグローバルな3次元復元を行う。CNNの学習時には、RGB画像を入力、距離画像を教師データとして使う。CNNはGPU、vSLAMはCPU上に実装した。(写真:TUM)[画像のクリックで拡大表示]距離を推定するDNNは、約60層近くから成る(図4)。TUMなどが2016年10月に発表済みの構成を今回のCNN-SLAMでもほぼそのまま用いた。入力のRGB画像は304×228画素で、RGBの3チャネル。出力は同じ解像度の距離画像(1チャネル)である。Network(ResNet)」を基にしている。通常のCNNは、層間で局所的なフィルタ演算を行う「畳み込み層」と間引きを行う「プーリング層」が交互に一直線に並ぶことが多いが、ResNetでは途中で枝分かれ経路を設ける。3層ほどスキップして後方の層に直接情報を送るバイパス経路を設けてある。Researchが考案した「ResNet-50」を改変して用いた。ResNet-50の後段の全結合層を削除し、代わりに画素数を増やすアップコンバート層を設けた。入力画像と同じ画素数の距離画像を出力する。(写真:TUM)[画像のクリックで拡大表示]もともとのResNetは一般物体認識用に考案されたネットワークのため、後段には識別のための全結合層がある。CNN-SLAMではこれは取り除き、代わりにFCNとして画像を出力できるよう、解像度を高めるアップコンバート層を6層ほど設けた。アップコンバート層の前段では解像度が10×8で、チャネルが2048となっている。画像中のどこにどのような物体があるかという情報が前半部分で一度凝縮され、それを再び距離画像に変換しているとみられる。SLAM」など別のデータセットを用いた。訓練データの撮影に用いたカメラの焦点距離と、実行時に用いるカメラの焦点距離は異なる。そのままでは絶対距離の推定に誤差が発生するため、両者の焦点距離の比を用いてCNNが推定した距離画像の値を調整するようにした。CNN-SLAMで得られた3次元復元結果の精度は、CNNのみで距離推定した場合よりも4%ほど向上した。正解データとの誤差が10%以内に収まる画素の割合が、CNNのみの場合は18.45%であったが、CNN-SLAMでは複数フレームを勘案することにより22.46%にまで高まった。SLAMであるLSD-SLAMでは距離画像の抜けが多く疎であるため、この値はわずか3.03%だ。SLAMは運動視差を基に3次元復元をするため、カメラの位置の変化がなく、回転動作のみの映像に対しては非常に脆弱である。図5右に示したように、回転運動に対してはLSD-SLAMでは3次元復元自体が破綻してしまう。これに対し、CNNでフレームごとに絶対距離を得るCNN-SLAMでは回転運動に耐性がある。SLAMでは運動視差を基にしているため、視差が生まれないカメラの回転運動が起きると、3次元復元が破綻してしまう(写真右)。これに対しCNN-SLAMは、距離画像センサを使うRGB-D向けSLAMと同様に、各フレームごとに距離画像を得られるため、回転運動に対して耐性がある(写真右)。距離画像センサとは異なり、屋外の太陽光への耐性もある。(写真:TUM)[画像のクリックで拡大表示]セグメンテーションとも統合CNN-SLAMでは、画像を出力できるFCNを用いているため、画素ごとの「semanticセグメンテーション」も同時に実施しやすい。semanticセグメンテーションとは、画像中にどのような種類の物体が写っているかを、画素ごとにラベリングするものだ。いったラベルをCNN(FCN)で画素レベルで振っていく。今回、TUMとキヤノンはこのsemanticセグメンテーションも実施した。3次元復元したすべての点群に対し、どのような種類の物体かをラベリングした(図6)。物体」といったラベルを推定した。前述したように、将来、ロボットに対し「本棚にある本を取ってきて」といった指示を自然言語で与えようとする際、こうしたsemanticセグメンテーションは必須の技術である。LIDARベースのSLAMと異なり、CNN-SLAMであれば、そうした用途にも使いやすい。距離推定に用いたのとほぼ同様の構成のCNNを並列に用いれば、画素や点群ごとのsemanticセグメンテーションも可能となる。各画素ごとに、それが「床」や「壁」、「家具」などどのような種類の物体なのかラベルを推定できる。日経Robotics記事は執筆時の情報に基づいており、現在では異なる場合があります。プレイヤーなど各サービスの全貌、業界別の参入機会・可能性などを解説。New加速する自動運転の開発競争エレキ世界最大のファウンドリーが日本で求人あらゆるプロセスで顧客ニーズに対応セキュリティも万全な新IoT向けマイコン毎月更新。世界で戦える工場マネージャー養成講座(全2回セット)国内外を問わず工場のマネジメントを担う管理者に求められるスキルを体系的に学べる講座です。工場長や...世界で広がる自動車電源48V化の最新動向とポイントクルマの電動化が加速する中、実用化が進む自動車電源の48V化について、元トヨタ自動車で世界初の4...今後10年で倍増へ、半導体100兆円市場を制するのは誰か世界の半導体市場は、今後10年で100兆円規模に倍増する方向性が見えてきた。活用を考えているエンジニアを対象に、必要な基礎知識と深層学習の最新技術動向を解説します...工場のものづくり力を世界レベルに強化する世界で戦える工場マネージャー養成講座の第2回。産業用ロボット本体メーカーの角度から、中国ロボット市場の最新発展状況を徹底的に調査。自動車から電機、産業機械まで製造業が「世界No.1製品」をつくるために必要な開発設計プロセスの全...次世代電池2020EVから空飛ぶクルマ、IoT/センサーネットに広がる次世代電池技術を徹底解説デジタルヘルス未来戦略どの技術、どの市場を狙うのか、そして、どこと組むべきか。「デジタルヘルス」に挑むなら、今。事業戦...突き抜けるデザインマネジメント「デザインなんかで経営が変わるわけない」と思っている人にこそ読んでほしい本。