自動運転における単眼3Dオブジェクト検出ICHI.PRO自動運転における単眼3Dオブジェクト検出このブログ投稿は公開されており、より多くの論文が公開されたら更新します。更新:RTM3Dを追加(2020年1月15日)Mapillaryから仮想カメラを追加(2020年2月16日)分離された構造化ポリゴンを追加(2020年3月21日)洗練されたMPLを追加(2020年3月22日)MonoPairを追加(2020年6月4日)スモークを追加(2020年6月5日)地球が平らではないことを追加(2020年6月28日)D4LCNを追加(2020年8月22日)TODO:追加(PseudoLidarV3、ZoomNet、ApolloCar3D、6D-VNet、PartParse)単眼3Dオブジェクト検出は、RGB画像に3D境界ボックスを描画します(出典:M3D-RPN)近年、研究者は正確な3Dオブジェクト検出のために高精度のLIDARポイントクラウドを活用しています(特にPointNetの独創的な研究がニューラルネットワークでポイントクラウドを直接操作する方法を示した後)。LIDARには、コストが高く、悪天候に敏感であるなどの欠点があります。RGBカメラで単眼3Dオブジェクト検出を実行する機能は、他のより高価なモジュールに障害が発生した場合に備えて、モジュールの冗長性を追加します。したがって、1つまたは複数のRGB画像だけで信頼性が高く正確な3D知覚を実行する方法は、自動運転における知覚の聖杯です。単眼3Dオブジェクト検出(mono3DOD)は新しいアイデアではありませんが、最近、このトピックへの関心が爆発的に高まっています。LIDARベースの方法と画像ベースの方法の間のパフォーマンスのギャップは依然として大きいため、2020年にはさらに多くの論文が発表されると予想されます。自動運転における単眼3Dオブジェクト検出に関する文献での取り組みの増加(比較的)徹底的な調査この投稿では、単眼3Dオブジェクト検出のこの重要な要求の最近の開発をレビューします。この投稿では、2019年11月の時点でこのトピックに関する32の論文をレビューしています(編集:このブログ投稿は公開されており、さらに多くの論文が公開されたら更新します)。これは、文献のmono3DODに関するすべての論文の比較的完全な調査です。3D制約に基づく幾何学的推論、および3Dbboxの直接生成。通常、1つの論文が複数のカテゴリにまたがるため、グループ化の基準が緩いことに注意してください。2019/11現在のMono3DODに関する論文の比較的包括的なリスト論文の要約の表形式のビューについては、私のgithubページまたはこのgoogledocスプレッドシートを参照してください。2Dを3Dに持ち上げますか?硬いが扱いやすい2D画像からの3Dオブジェクト検出は困難な作業です。bboxを3Dに持ち上げるに関する以前の投稿を参照してください)。特定の条件下で、強力な事前情報があれば、このタスクは依然として扱いやすいものです。自動運転では、ほとんどの対象物、たとえば車両はよく知られた形状の剛体であるため、単眼画像を使用して3D車両情報を復元できます。1.表現変換(BEV、疑似ライダー)カメラは通常、一部のプロトタイプの自動運転車の車の屋根、または通常のドライブレコーダーのようにバックミラーの後ろに取り付けられます。したがって、カメラ画像には通常、世界の透視図があります。このビューは、運転中に見られるものに似ているため、人間のドライバーにとっては理解しやすいものですが、コンピュータービジョンには、距離によるオクルージョンとスケールの変動という2つの課題があります。これを軽減する1つの方法は、透視画像を鳥瞰図(BEV)に変換することです。BEVでは、車のサイズは同じで、自我車両までの距離に依存せず、異なる車両が重なることはありません(通常の運転状態では、3D世界で他の車の上に車がないという合理的な仮定があります)。逆遠近法マッピング(IPM)は、BEV画像を生成するために一般的に使用される手法ですが、すべてのピクセルが地面にあり、カメラの正確なオンライン外部(および固有)情報がわかっていることを前提としています。IPMに十分な精度を得るには、外部パラメータをオンラインで調整する必要があります。2019)が行うことです。IMUデータを使用して外部情報のオンラインキャリブレーションを行い、より正確なIPM画像を取得して、それらに対してオブジェクト検出を実行します。彼らのYoutubeデモはここで見ることができます。2019)は、透視画像をBEVに持ち上げる別の方法ですが、ディープラーニングフレームワークを介して行われます。アイデアは、正投影特徴変換(OFT)を使用して、透視画像ベースの特徴を正投影鳥瞰図にマッピングすることです。ResNet-18は、透視画像の特徴を抽出するために使用されます。次に、ボクセルベースの特徴は、投影されたボクセル領域にわたって画像ベースの特徴を蓄積することによって生成されます。(このプロセスは、CT画像の再構成における逆投影を思い出させます。)次に、ボクセルフィーチャが垂直方向に沿って折りたたまれ、正投影の地表面フィーチャが生成されます。最後に、別のResNetのようなトップダウンネットワークを使用して、BEVマップを推論および改良します。正書法特徴変換のアーキテクチャ(ソース)OFTのアイデアは本当にシンプルで興味深いものであり、比較的うまく機能します。逆投影のステップは、単純に逆投影を行うのではなく、ボクセルベースの機能の初期化を改善するためにいくつかのヒューリスティックを使用することで改善できた可能性があります。非常に大きなbboxの画像の特徴は、非常に離れたオブジェクトに対応できません。この方法について私が抱えているもう1つの問題は、正確な外因性の仮定です。これはオンラインでは入手できない場合があります。この論文は素晴らしい結果を達成しましたが、論文が認めているように、BEV空間への変換は、正面距離が10〜15メートルしかないため、使用が制限された場合にのみうまく機能します。BirdGANは透視画像をBEVに変換します(ソース)次に、疑似ライダーのアイデアに関する一連の作業を入力します。単眼深度推定の最近の進歩のおかげで、画像から推定された深度に基づいて点群を生成するというアイデアです(これ自体が自動運転のホットトピックであり、今後レビューします)。RGBD画像の使用に関するこれまでの取り組みでは、主に深度を4番目のチャネルとして扱い、この入力に通常のネットワークを適用し、最初のレイヤーへの変更を最小限に抑えています。2018)は、推定深度情報を3Dに持ち上げることを最初に提案したものの1つです。推定された深度情報(MonoDepthによって事前にトレーニングされた重みが固定されている)を使用して、RGB画像の各ピクセルを3D空間に投影し、この生成点群を画像の特徴と融合して3D境界ボックスを回帰します。2019)は、おそらくこの一連の作業の中で最もよく知られています。これはMLFに触発され、最先端のLIDARベースの3Dオブジェクト検出器を直接適用することにより、生成された疑似LIDARをよりブルートフォースの方法で使用します。著者らは、深度画像上の隣接するピクセルが3D空間で物理的に遠く離れている可能性があるため、表現が重要であり、深度マップでの畳み込みは意味がないと主張しています。疑似ライダーアプローチの一般的なパイプライン(ソース)ただし、疑似ライダーのSOTA結果の背後には注意点があります。著者は、DORNのトレーニングデータ、既製の深度推定器、および疑似ライダー3DODの検証データの間にいくつかの重複があることを指摘しました。したがって、トレーニングと検証の間に潜在的な情報漏えいがあります。これはForeSeEによって部分的に確認されています。ForeSeEは、深度推定量がトレーニングデータのみで適切にトレーニングされている場合、はるかに少ない数を報告しました。(詳細については、ForeSeEに関する私のメモを参照してください)。疑似ライダーの作成者は、疑似ライダー++をフォローアップしました。主な改善点は、生成された疑似ライダーポイントクラウドを、低コストのライダーからのスパースで正確な測定値で補強できることです(ただし、ライダーデータをシミュレートしました)。カメラ画像とまばらな深度測定を使用して高密度の3D表現を生成するというアイデアは、自動運転では非常に実用的であり、今後この方針に沿ってさらに多くの作業が行われることを期待しています。疑似ライダー++拡張疑似ライダーとスパースだが正確な深度測定さらにいくつかのフォローアップを行い、元の疑似ライダーアプローチを改善しました。rgb情報を選択的に渡すためのベースのゲーティング方法。2018)の概念と錐台の平均深度に基づいて、シンプルでありながら効果的な点群セグメンテーション手法を使用しています。疑似LIDARアプローチのボトルネックが2つあることを強調しました。深度推定の不正確さによって引き起こされる局所的な不整合と、オブジェクトの周辺の深度アーチファクトによって引き起こされるロングテール(エッジブリーディング)です。3Dバウンディングボックスの一貫性を失うという考えを導入しました。ForeSeEはまた、これらの欠点を指摘し、すべてのピクセルが深度推定において等しく重要であるとは限らないことを強調しました。以前のほとんどの方法のように既製の深度推定器を使用する代わりに、前景用と背景用の新しい深度推定器をトレーニングし、推論中に深度マップを適応的に融合しました。疑似ライダーアプローチのボトルネック:深度推定とエッジブリーディング(出典)RefinedMPL:自動運転での3Dオブジェクト検出用の洗練された単眼PseudoLiDARは、疑似ライダーのポイント密度の問題を掘り下げます。ポイント密度は、たとえば64ラインライダーで得られるポイントクラウドよりも1桁高いことに注意してください。バックグラウンドのポイントが多すぎると、偽の誤検知が発生し、計算量が増えます。この論文は、構造化されたスパース化を実行するための2段階の方法を提案しました。最初に前景ポイントを識別し、次にスパース化を実行します。前景ポイントは、2つの提案されたアプローチで識別されます。1つは監視あり、もう1つは監視なしです。教師付き方法は、2Dオブジェクト検出器を訓練し、前景が背景点を除去するためのマスクとして2次元バウンディングボックスマスクの和集合を使用します。教師なしの方法は、キーポイントの検出を実行するためにガウシアンのラプラシアン(ログ)を使用し、前景点として最近傍の2次を使用します。次に、これらの前景ポイントは、各深度ビン内で均一にスパース化されます。RefinedMPLは、10%のポイントがあっても、3Dオブジェクト検出のパフォーマンスが低下せず、実際にはベースラインを上回っていることを発見しました。この論文はまた、疑似ライダーと実際のライダーポイントクラウドとの間のパフォーマンスギャップ、および不正確な深度推定に起因します。全体として、私はこのアプローチに大きな期待を寄せています。必要なのは、前景の正確な深度推定です。これは、たとえば、低コストの4ラインLIDARからのスパース深度測定によって補強できます。車両は、検出、分類、および再識別のためのランドマーク/キーポイントとして使用できる独特の共通パーツを備えた剛体です。対象のオブジェクト(車両、歩行者など)の寸法は、全体のサイズやキーポイント間のサイズなど、広く知られているサイズのオブジェクトです。サイズ情報を効果的に活用して、自我車両までの距離を推定することができます。RCNNなどの2段階)を拡張して、キーポイントを予測します。この方針に沿った先駆的な作品の1つです。bbox、分類、2Dキーポイント、可視性、およびテンプレートの類似性を回帰します。bboxの(w、h、l)のトリプレットを意味します。Epnpアルゴリズムを使用)が実行されて、3Dの位置と方向が復元されます。2018)は、急勾配の傾斜した道路で車両の単眼再構築を実行することを目標としています。このフレームワークでは、1つの重要な要素は、単眼画像から3D形状と6自由度のポーズを推定することです。ディープマンタの36キーポイント定式化を使用しています。考えられるすべての3D形状テンプレートから最適なものを選択するのではなく、基底ベクトルと変形係数を使用して車両の形状をキャプチャします。特定の形状を表すために一連の基底形状とそれらの組み合わせ係数を使用するという考え方は、3D-RCNNおよびRoI-10Dの考え方と似ています。CADモデルで生成/レンダリングされた240万の合成データセットでトレーニングされており、著者はそれが実際のデータにうまく一般化することを発見しました。2020)などの他の作品でも使用されています。2018)で使用されているキーポイントベースのモノラル3DODパイプラインです。2018)は、車の形状、ポーズ、サイズのパラメーターを推定し、シーンをレンダリング(合成)します。次に、マスクと深度マップがグラウンドトゥルースと比較され、「レンダリングと比較」の損失が生成されます。主成分分析(PCA)は、形状空間の低次元(10-d)表現を推定するために使用されます。ポーズ(方向)と形状のパラメーターは、分類ベースの回帰を使用してRoIPooled特徴から推定されます(マルチモーダル回帰に関する以前の投稿を参照)。CADモデル、2Dインスタンスのセグメンテーション、組み込み関数など、非常に多くの入力が必要です。OpenGLに基づく「レンダリングと比較」の損失も、エンジニアリングが非常に重いようです。3Dバウンディングボックスの3DoFサイズに由来しています。追加の1Dは、形状空間を指します。RCNNと同様に、RoI-10Dは形状空間の低次元(6-d)表現を学習しますが、3Dオートエンコーダーを使用します。RGBの機能は、推定された深度情報によって拡張され、回帰回転q(クォータニオン)、RoI相対2D重心(x、y)、深度z、およびメトリック範囲(w、h、l)にRoIPooledされます。これらのパラメータから、3Dバウンディングボックスの8つの頂点を推定できます。コーナーロスは、8つの予測頂点とグラウンドトゥルース頂点すべての間で定式化できます。形状グラウンドトゥルースは、再投影損失を最小限に抑えることにより、オフラインのKITTI3Dに基づいてラベル付けされます。形状の使用も非常にエンジニアリングが重いです。2019)は、3Dおよび2Dの一貫性、特にランドマークと形状の調整に基づいて3DODを実行します。14個のランドマークを持つモーフィング可能なワイヤーフレームモデルに回帰します。Pascal3Dでトレーニングされています。EM-Gaussian法を使用して、2Dランドマークを介した形状の低次元表現も学習します。++は学習した基底の数を指定していません。この論文では、深さと地面を推定して、複数の予測ブランチ間の一貫性の損失を形成しています。残念ながら、このペーパーには多くの重要な情報がありません。3D中心と粗いインスタンス深度の投影を回帰し、2つで大まかな3D位置を推定します。2Dbboxの中心と2D画像の3Dbboxの中心の投影の違いを強調しています。1つの人工的なキーポイントと見なすことができます。他の多くの方法とは異なり、比較的簡単な観測角度を回帰するのではなく、3D中心に対する8つの頂点のオフセットを直接回帰します。V2は、2D画像のキーポイントを回帰し、3DCADモデルを使用して深度を推測します。CADモデルと、DeepMANTAのように3Dバウンディングボックステンプレートマッチングで半自動的に注釈が付けられた2Dキーポイントに基づいています。これはMaskRCNNアーキテクチャに基づいており、2つのヘッドが追加されています。一方のヘッドは2Dキーポイント、可視性、ローカル方向を回帰し、もう一方のCADとディメンションヘッドはCADを選択して、3Dメトリックディメンションオフセットを回帰します。インスタンスの距離は、フロントガラスの高さから推測されます。RCNNオブジェクト検出ブランチは、トレーニングを安定させるためトレーニング中にオンになりますが、推論には使用されません。RCNNペーパーが示唆するように、ヒートマップではなく、完全に接続されたレイヤーを介してキーポイント座標を直接回帰します。bboxグラウンドトゥルースに配置することにより、半自動の方法で3Dキーポイントにラベルを付けました。MANTAは、103のCADモデルのそれぞれで36のキーポイントにラベルを付けました。V2は、5つのCADモデルで14のキーポイントにラベルを付けました。++も、同じ14個のキーポイントにラベルを付けました。キーポイント注釈のさまざまな方法(括弧内に注釈付きキーポイントの数を含む)通常、大規模な自動車のキーポイントに密に注釈を付けることは非常に複雑で時間がかかります。BaiduのApolloScape、特にメインデータセットから派生したApolloCar3Dサブデータセットは、メッシュの形式でキーポイントと形状の高密度の注釈を提供する唯一のものです。Polling(GPP)は、3Dbboxアノテーションを使用して仮想2Dキーポイントを生成します。bbox(過剰決定)を推定するために必要な数よりも多くの属性を意図的に予測し、これらの予測を使用して、RANSACと同様の方法で属性の最大コンセンサスセットを形成し、外れ値に対してより堅牢にします。3Dタイトコンストレイントでの過剰決定方程式の解法に似ています。GPPは、3つのタイヤのフットプリントと、エゴカーに最も近い垂直バックプレーン/フロントプレーンエッジを予測します(ソース)RTM3D(リアルタイムmono-3D)も仮想キーポイントを使用し、CenterNetのような構造を使用して、8つの直方体頂点+直方体中心すべての2D投影を直接検出します。紙はまた、距離、向き、サイズを直接回帰します。これらの値を使用して直方体を直接形成する代わりに、これらの値を初期値(事前)として使用して、オフラインオプティマイザーを初期化して3Dbboxを生成します。これは、最初のリアルタイム単眼3Dオブジェクト検出アルゴリズム(0.055秒/フレーム)であると主張しています。CenterNetから多くのインスピレーションを得て、車のペア間の空間的関係に基づいて検出結果を絞り込むことに焦点を当てています。CenterNetのように3Dbboxを直接検出するだけでなく、仮想ペアワイズ制約キーポイントも予測します。ペアごとのキーポイントは、彼らが最隣接している場合は2つのオブジェクトの中間点として定義されます。2017)の定義に似ています。3Dグローバル最適化Monopairのアイデアは、深度推定中に不確実性を組み込むことで最大のパフォーマンス向上を示しました。MonoPairは、オブジェクト間の絶対距離の回転変換も実行して、ローカル座標での視点の不変性を保証します(ローカル座標とグローバル座標に関する以前の投稿を参照)。MonoPairは、フレームあたり57ミリ秒でほぼリアルタイムのパフォーマンスも達成しました。bboxの回帰を完全に排除し、3Dbboxを直接予測します。これは、3D直方体の中心の投影点として、3D境界ボックスをエンコードし、その他のパラメーター(サイズ、距離、ヨー)を追加のプロパティとしてエンコードします。MonoDISに触発された、解きほぐされたL1損失を使用して最適化された3Dコーナー損失です。このタイプの損失の定式化は、複数の損失関数の加重和を介して7DoFパラメーターを予測するのとは対照的に、3Dバウンディングボックス予測への寄与に従って異なる損失項を一緒に重み付けする暗黙の方法です。60メートル以内で5%未満の距離予測誤差を達成します。これは、私が知る限り、単眼深度推定のSOTAです。ここでコードをオープンソース化してくれた作者に称賛を送ります。2020)は、3D頂点の2D投影の推定(本書では構造化ポリゴンと呼ばれます)が完全に深度推定から切り離されています。RTM3Dと同様の方法を使用して、直方体の8つの投影点を回帰し、ガイド距離の推定の前に、垂直エッジの高さをストロングとして使用します。これにより、粗い3D直方体が生成されます。次に、この3D直方体は、微調整のためにBEV画像(Pseudo-Lidarと同様の方法を使用して生成された)のシード位置として使用されます。これにより、単眼の疑似ライダーよりも優れた結果が得られます。分離構造ポリゴンは、微調整に直方体のキーポイント回帰と疑似ライダーを使用します。歩行者の位置を後退させることに焦点を当てているため、上記とは少し異なります。歩行者は剛体ではなく、さまざまなポーズや変形があるため、車両の3D検出よりも間違いなく困難です。RCNNなどのトップダウン検出器またはPif-Pafなどのボトムアップ検出器)を使用して、人間のキーポイントのキーポイントを抽出します。V2とGS3Dを行うが。このホワイトペーパーでは、多層パーセプトロン(完全に接続されたニューラルネットワーク)を使用して、すべてのキーポイントセグメントの長さで深度を回帰し、単純なベースラインよりも改善されていることを示しています。自動運転などのセーフティクリティカルなアプリケーションで非常に重要な偶然性/認識論的不確実性のモデリングを通じて、不確実性の現実的な予測も行っています。Monolocoは、キーポイントセグメントの長さから不確実な距離を予測します(ソース)要約すると、2D画像内のキーポイントの抽出は実用的であり、LIDARデータに基づく3D注釈から直接監視することなく3D情報を推測できる可能性があります。このアプローチでは、オブジェクトごとに複数のキーポイントの非常に面倒な注釈が必要であり、重い3Dモデル操作を設計する必要があります。3Dの一貫性を活用して、2Dを3Dに引き上げます。上記のキーポイントと形状を活用するアプローチと同様に、ローカルヨー(または観測角度)とサブタイプ平均からの寸法オフセットを回帰するブランチを追加することにより、2Dオブジェクト検出フレームワークを拡張します。これらの幾何学的ヒントを使用して、過度に制約された最適化問題を解決し、3D位置を取得して、2D境界ボックスを3Dに持ち上げます。deep3DBoxでの最適化問題の詳細な定式化と他の人によるフォローアップ作業については、自動運転で2Dオブジェクト検出を3Dに持ち上げるという私のそれほど短いレビューを参照してください。他の多くの同様の作品を代表するdeep3DBoxのアーキテクチャ(ソース)Deep3DBoxの成功にもかかわらず、2つの欠点があります(ただし、2つ目は、その単純さのために、実際には展開において利点となる可能性があります)。bboxの検出に中程度のエラーがある場合、推定された3Dバウンディングボックスに大きなエラーが発生する可能性があります。2)最適化は純粋にバウンディングボックスのサイズと位置に基づいており、画像の外観キューは使用されません。したがって、トレーニングセット内の多数のラベル付きデータから利益を得ることができません。deep3dboxの概念をタイトフィットを超えて拡張します。3D制約によって取得)、レンダリングされた3Dワイヤーフレームで2Dパッチをスコアリングします。後で説明するMono3Dのように、密なサンプリングには時間がかかり、計算上効果的ではありません。Deep3DBoxプロポーザルからのオフセットを「アクティブに」回帰することにより、密なプロポーザルサンプリングを回避します。既知のすべての2Dおよび3Dbbox情報をShiftNetと呼ばれる高速でシンプルな完全に接続されたネットワークにフィードし、3Dの場所を調整します。bbox底面(CBF)の中心の投影と視点の分類を予測します。バウンディングボックスの下端に基づく深度の順序や、近くの2Dバウンディングボックスの同様の深度など、推測された3D情報に基づく2D検出の誤検知も排除します。3D制約最適化をニューラルネットワークに組み込み、反復法を使用してトリミングされたケースを改良します。これは、2つの異なる空間で2つの損失がある、過剰に制約された方程式を解く代わりに2Dを3Dに持ち上げるための3D再構成レイヤーを導入します。)推定距離とgt距離の間のBEV損失のL2損失。deep3DBoxは切り捨てられたボックスを適切に処理しないことを認識します。これにより、xmin(左が切り捨てられた場合)またはxmax(右が切り捨てられた場合)の車を除いて、4つではなく3つの制約のみを使用することにより、切り捨てられたbboxに対して反復的な方向の調整を使用するようになりました。32の間隔で2回の反復で試行錯誤して推定されます。2019)は、人気のあるセンサーフュージョンフレームワークAVODの同じ著者からのものです。最初に3D提案を生成し、次に動的オブジェクトのローカル点群を再構築します。図心提案ステージでは、2Dボックスの高さと回帰した3Dオブジェクトの高さを使用して深度を推測し、2Dバウンディングボックスの中心を推定深度の3D空間に再投影します。提案セージは非常に実用的で非常に正確です(平均絶対誤差〜1.5m)。再構成ブランチは、オブジェクトのローカルポイントクラウドを回帰し、ポイントクラウドとカメラ(投影後)のGTと比較します。これは、MonoGRNetとTLNetによる、シーン全体の深さが3Dオブジェクト検出には行き過ぎであるという点を反映しています。インスタンス中心のフォーカスは、大きな深度範囲の回帰を回避することにより、タスクを容易にします。RCNNフレームワークに基づいており、方向回帰ヘッドが追加されています。2Dバウンディングボックスの高さから推定されたローカルの向きと距離を使用して、大まかな3Dバウンディングボックスの位置を生成します。深度推定では、トレーニングデータセットの分析から得られた、2D画像に投影された3Dバウンディングボックスの高さの投影が2Dbboxの高さの約0.93倍であるという興味深い実用的な統計を使用します。表面特徴抽出モジュール(RoIAlignのアフィン拡張)を使用して、3D検出を改善します。GS3Dは、表面特徴抽出を使用して3Dボックスを改良します(ソース)要約すると、このアプローチは2Dオブジェクト検出を容易に拡張し、私の意見では最も実用的なアプローチです。この分野でのDeep3DBoxの先駆的な作業の影響は甚大です。単眼3Dオブジェクト検出の先駆的な作品の1つは、CVPR16のUberATGによるMono3Dです。直接的な3Dプロポーザルの生成に焦点を当て、車が地面にある必要があるという事実に基づいて高密度のプロポーザルを生成します。次に、多くの手作りの機能によって各提案をスコアリングし、NMSを実行して最終的な検出結果を取得します。ある意味では、FQNetはDeep3DBoxによる最初の推測の周りに3D提案を配置しますが、逆投影されたワイヤーフレームを検査することによって3Dbbox提案をスコアリングするFQNetに似ています。拡張されたRetinaNetアーキテクチャに基づいて2Dbboxと3Dbboxを直接回帰します。2Dおよび3Dbbox出力の各コンポーネントを直接監視する代わりに、bbox回帰の全体像を把握し、2D(符号付き)IoU損失と3Dコーナー損失を使用します。これらの損失は一般にトレーニングが難しいため、1つのグループ(1つ以上の要素を含む)を除くすべての要素をグラウンドトゥルースに固定して損失を計算し、基本的にそのグループのパラメーターのみをトレーニングすることにより、もつれを解く手法を提案します。この選択的なトレーニングプロセスは、予測のすべての要素をカバーし、1回のフォワードパスで総損失が累積されるまでローテーションします。bboxのエンドツーエンドのトレーニングが可能になり、他の多くのアプリケーションに拡張できます。MonoDISのアーキテクチャと損失(ソース)MonoDISの作成者は、仮想カメラのアイデアを採用することにより、アルゴリズムをさらに改善しました。主なアイデアは、モデルはさまざまな距離にある車のさまざまな表現を学習する必要があり、モデルはトレーニング時に距離範囲を超える車の一般性を欠いているということです。広い距離範囲に対応するには、モデルとそれに付随するトレーニングデータの容量を増やす必要があります。仮想カメラは、画像全体を複数の画像パッチに分割することを提案します。各パッチには、少なくとも1台の車全体が含まれ、奥行きの変化は限られています。推論中に、ピラミッドのような画像のタイリングが推論のために生成されます。画像の各タイルまたはストリップは特定の範囲制限に対応し、幅と高さが異なります。多くの検出関連タスクに拡張できる多用途のオブジェクト検出フレームワークです。最初に、オブジェクトの中心位置の信頼性を示すヒートマップを回帰し、他のオブジェクトプロパティを回帰します。CenterNetを拡張して、中心点の属性として2Dおよび3Dオブジェクト検出を含めるのは簡単です。SS3Dはまさにそれを行います。CenterNetのような構造を使用し、最初に潜在的なオブジェクトの中心を見つけてから、2Dおよび3Dの境界ボックスを同時に回帰します。回帰タスクは、最適化のための2Dおよび3Dバウンディングボックス情報に関する十分な情報を超えて回帰します。2Dおよび3Dバウンディングボックスタプルのパラメーター化には、合計26の代理要素があります。総損失は、26の数値の加重損失であり、加重は動的に学習されます(自己ペースのマルチタスク学習に関する私のレビューを参照してください)。損失関数には偽の極小値があり、トレーニングはヒューリスティックに基づく適切な初期推定から恩恵を受けることができます。2019)は、各2Dアンカーの3D平均統計を事前計算することにより、2Dおよび3Dbboxパラメーターを同時に回帰します。num_class)を直接回帰します。3Dアンカーの興味深いアイデアを提案しています。基本的に、これらは画像全体をタイリングする2Dアンカーですが、3Dバウンディングボックスプロパティを備えています。アンカーは、2Dアンカーの位置に応じて、3Dアンカーの事前統計が異なる場合があります。RPNは、深度が自動運転シーンの行と大きく相関しているため、異なる行ビンに個別の畳み込みフィルターを使用することを提案しています(深度認識畳み込み)。3Dアンカーは、M3D-RPN(ソース)の3Dプロパティが関連付けられた2Dスライディングウィンドウです。2020)は、動的フィルター予測ブランチを導入することにより、M3D-RPNから深度認識畳み込みのアイデアをさらに取り入れました。深度予測を入力として受け取り、フィルターフィーチャボリュームを生成するこの追加のブランチは、重みと拡張率の両方の観点から、特定の場所ごとに異なるフィルターを生成します。2019)は主にステレオ画像のペアに焦点を当てていますが、単眼のベースラインもしっかりしています。モノベースラインとして2Dオブジェクト検出によって範囲が定められた錐台内に3Dアンカーを配置します。ピクセルレベルの深度マップは3DODには高すぎるため、オブジェクトレベルの深度で十分であるというMonoGRNetのポイントを繰り返します。m間隔)を密に配置し、オブジェクトクラスごとに2つの方向(0度と90度)、オブジェクトクラスの平均サイズを使用するという点でMono3Dを模倣しています。3DプロポーザルはRoIを取得するために2Dに投影され、RoIpooled機能は位置オフセットと寸法オフセットを回帰するために使用されます。TLNetは、Mono3Dを彷彿とさせる高密度の候補を錐台に配置します(ソース)要約すると、3D空間に3Dアンカーを直接配置することは、可能な場所が広大であるため困難です。アンカーは本質的にスライド式の窓であり、3D空間の徹底的なスキャンは手に負えません。したがって、3Dバウンディングボックスの直接生成では、通常、ヒューリスティックまたは2Dオブジェクト検出が使用されます。車は通常地面にあり、車の3Dバウンディングボックスは、対応する2Dバウンディングボックスなどによって囲まれた錐台内にあります。単眼3Dオブジェクト検出は不適切な問題です。3DまたはBEV空間での推論に役立つように、2Dバウンディングボックスに関連付けられた2D画像内のローカル方向やキーポイントを含む複数の幾何学的ヒントを特定できます。キーポイントには、ヘッドライトやフロントガラスのコーナーなどの実際のキーポイント、または3Dバウンディングボックスの中心や2D画像の上面/下面の投影などの3Dバウンディングボックスによって生成された人工的なキーポイントが含まれることに注意してください。2Dと3Dの一貫性は、2Dと3Dの共同トレーニングを正規化するのに役立ち、2Dバウンディングボックスと幾何学的ヒントの予測後の後処理ステップとして3D推論を助けることができます。単眼深度の推定は、過去数年間で大きな進歩を遂げました。高密度深度推定は、RGB画像を疑似ライダーポイントクラウドに変換するのに役立ち、最先端の3Dオブジェクト検出アルゴリズムですぐに使用できます。透視表現は、で3D検出を直接実行するのは困難です。リフティング鳥瞰図(BEV)のスペースは、車両の検出距離の異なるはるかに簡単なタスクのスケール不変性を作ります。上記のすべての方法は、既知のカメラの本質を前提としています。カメラの本質が不明な場合でも、アルゴリズムの多くは機能しますが、スケールファクターまでしか機能しません。ネットワークの出現と、現在の手法を絶対的な限界まで押し上げる技術の進歩により、あらゆることを実行することを目的とした包括的なツールの作成に焦点が当てられています。ネットワークは必要ありませんが、それでも基本的な数学モデルよりも汎用性の高いものが必要です。関連記事Torchvisionの機能を理解する(PyTorchの場合)トーチビジョンライブラリの直感的な理解—基本から上級(パート1/3)トーチビジョンとは何ですか?Torchvisionは、PyTorchと連携するコンピュータービジョン用のライブラリです。効率的な画像およびビデオ変換用のユーティリティ、一般的に使用される事前トレーニング済みモデル、および一部のデータセットがあります(torchvisionはPyTorchにバンドルされていないため、個別にインストールする必要があります。—変換トーチビジョンライブラリの直感的な理解—変換の14の視覚的な例(パート2/3)パート1(トーチビジョンのモジュールの紹介)については、以下のリンクにアクセスしてください。この記事では、データセット(画像)が読み込まれた直後にシーケンスで実行できる単純な画像変換関数である変換を実験します。内部のグラフ注意ネットワーク数学からNumPyへのステップバイステップガイドグラフニューラルネットワーク(GNN)は、グラフデータから学習するための標準ツールボックスとして登場しました。GNNは、コンテンツの推奨や創薬など、さまざまな分野で影響の大きい問題の改善を推進できます。前回の投稿で、ブロブ検出と連結成分に基づいて対象のオブジェクトを識別する方法を学びました。関心のある特定のオブジェクトを画像から分離する必要がある場合があります。