estimationhttps://arxiv.org/pdf/1705.03098.pdf画像から3次元の関節を推定する論文。入力は画像ではなく2次元の関節座標で、そこから3次元の関節を回帰する。2次元から3次元へのマッピングをDNNとして学習する手法は、これまでにも提案されてきているが、それらに共通するのは、3次元座標を2次元(画像や関節座標)から直接推定することはそもそも困難という認識である。Connectionを用いたシンプルなDNNにより、SOTAな手法に負けない精度で3次元座標の推定が可能であることを示している。DNNでモデル化し、次の図のような構成を提案している。layerは合計で6となる。学習パラメータ数は4Mから5M。connectionsを設けることで、エラーが10%も低下した。学習してdetectorの2次元座標で推論した場合には精度低下が見られた。normとdropoutを併用することで、これらのケースでの精度を改善することが出来た。normと組み合わせて、各層の重みのノルムの上限を1.0に正規化することで、汎化性能の向上が見られた。preprocessing平均を引いて、標準偏差で割る一般的な正規化を入力データと出力データに適用。jointを中心とした相対的な座標(カメラ座標系)。任意の座標系での3次元座標を2次元座標から求めることは現実的ではないので、カメラを中心としたカメラ座標系が自然な選択となる。3次元座標のGTに対応する2次元座標は、カメラの内部パラメータを用いた変換により求めることが可能。Hourglass(SH)を用いて取得。Human3.6Mデータセットでは人物矩形が含まれているので、矩形の中心に対して440x440の領域をクロップ、256x256にリサイズしてSHに入力する。既存手法ではCPMを用いていて、2次元座標のGTとの誤差はSHの平均15pixelよりも小さい(平均10pixel)。MPIIデータセットではわずかに精度が良いこと、10倍の処理速度、の2点の理由でSHを採用している。sizeを6から3に変更。40000iter実行。details学習時のハイパーパラメータは表のようになっている。含む大規模なデータセット。一方のMPIIはもう少し小規模。ResultsGTを用いた評価GTの2次元座標で学習、テストした場合、既存手法より43%の改善(37.10mmの誤差)。GTにガウシアンノイズを付加してテストした場合、当然ながら性能は低下していく(それでも比較手法よりもエラーは小さい)。SHを用いてテストした場合でも、既存手法よりも20%程度改善(60.52mmの誤差)detectorの2次元座標を用いた評価SHで求めた2次元座標を用いて学習、テストした場合、既存手法のSOTAな結果よりも4.4mmの改善。SHをHuman3.6MでFTした場合は、9.0mmの改善。normをなくした場合。各構成を含む場合が一番性能は高い。ブロック数を4、8と増やしても性能向上はあまりなく、ブロック数2で頭打ちしている。connectionのシンプルな基本構成で、既存手法を超える性能を達成しているのは驚き。論文タイトルにもあるように、これらからの研究のベースラインになる(改善が色々とできそう)手法だと思われるし、detectorの2次元座標があれば手軽に3次元座標が得られるので、応用もしやすそうである。ツイートはてなブログをはじめよう!satojkovicさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。