近年、人の動作を3次元で復元するというタスクが様々な業界で行われています。スポーツ業界では、選手のフォームチェックや試合のリプレイ再生などで既に導入されています。人の動作を3次元で復元するためには様々な機材や優秀なエンジニアが必要であり、多くのコストがかかるため、「気軽に行うことができない」という課題を抱えています。今回はこの課題を将来的に解決する可能性を秘めた研究を紹介していきたいと思います。今回の研究の目的は一言で表すと「静止画像内の人物の3次元モーションを復元すること」です。具体的には、図1のようにビデオ中のある時点におけるフレームから過去と現在そして未来の一連の動作を復元します。著者らはこのチャレンジングな目的を達成するためにResNetを元にしたモデルを構築し、提案しました。3次元モーション復元の様子また、今回のような画像やビデオをデータセットとして用いる研究には往々にして「ラベル付きデータセットの不足」という問題がつきまといます。今回使用するデータセットはビデオのフレーム1枚1枚に3次元の姿勢や形状に関するラベルを付与する必要があり、アノテーションコストは膨大なものとなります。そこで、著者らはインスタグラムへの投稿を始めとしたオンライン上の大量のラベル無しデータセットを使用して半教師あり学習を行うという解決策を提案しました。それでは、これから具体的な研究内容についてご紹介していきたいと思います。提案手法データまず、入力データですが、これは「ビデオ中のある時点におけるフレーム(2次元静止画像)」となります。入力データのラベルについては、3次元ラベル付きデータ、2次元ラベル付きデータ、ラベルなしデータの3つが存在し、それぞれ以下のようになってます。3次元ラベル付きデータ形状情報に関するラベル3次元姿勢情報に関するラベル2次元姿勢情報に関するラベルカメラの位置に関するラベル2次元ラベル付きデータ形状情報に関するラベル2次元姿勢情報に関するラベルカメラの位置に関するラベルラベルなしデータ2次元姿勢情報に関する疑似ラベル(OpenPoseを用いて付与)モデル次に、モデルの説明に移ります。図2が著者らが提案したモデルです。提案モデルまず、入力データはResNetによって学習が行われ、特徴量φを出力します。次に、特徴量φをfmovieに入力すると、人の実際の動きを表現する特徴量であるΦを出力します。一連の3次元メッシュの構成に必要なパラメータであるΘt-Δt、Θt、Θt+Δtを出力します。hallucinatorによって人の動きを表現する特徴量を生成し、実際の特徴量であるΦと比較します。半教師あり学習とは、ラベル付きデータとラベルなしデータの両方を用いた学習手法です。今回の研究では以下のような手順で学習を行います。人間の姿勢情報(関節点)を高精度で検出できるモデルです。このような手順で学習を行うことで、数に限りのあるラベル付きデータだけでなく、インターネット上に大量に存在するラベルなしデータも有効に活用することができます。実験データセットまず、今回の実験で使用するデータセットについて紹介していきます。Human3.6M(H36M)3次元ラベル付きデータセット。今回の実験では、モデルの学習及び精度評価で用いる。3DPW3次元ラベル付きデータセット。今回の実験では、モデルの精度評価のみに用いる。Action(Penn)2次元ラベル付きデータセット。15のスポーツのプレイシーンが収められている。今回の実験では、モデルの学習及び精度評価に用いる。NBA2次元ラベル付きデータセット。NBAでの16試合分の3ポイントシュートのシーンが収められている。今回の実験では、モデルの学習及び精度評価に用いる。peopleラベルなしデータセット。datasetの一部。今回の実験では、モデルの学習のみに用いる。Varietyラベルなしデータセット。インスタグラムの投稿のうち、#instructionや#swimming、#dancingなどのハッシュタグ(84種類)が付けられた投稿を収集した。今回の実験では、モデルの学習のみに用いる。以上の6種類のデータセットを今回の実験では用います。今回の研究では以下のような2種類の実験を行っています。静止画像内の人物の3次元モーションの復元それでは、上記の2つの実験の詳細をそれぞれまとめていきます。静止画像に写っている人物の3次元メッシュモデルの復元を行います。実際の入力と出力を図3に示します。静止画像内の人物の3次元メッシュモデルの復元の様子1行目の画像が入力であり、2行目の3次元メッシュモデルがそれぞれの入力に対応した出力となります。3行目のメッシュモデルは2行目のメッシュモデルを別視点から見たものとなります。表1が実験結果になります。既存手法との比較MPJPEというのは、各関節点での誤差(単位:mm)の平均を表しており、これが小さいほど精度が良いと言えます。PA-MPJPEは物体の大きさや位置、回転といった要素を考慮して各接点での誤差(単位:mm)を計測し、それを平均したものであり、これもまた小さいほど精度が良いと言えます。Varietyを使用した半教師あり学習です。artを獲得していたTP-Netの精度を提案手法が上回っていることが分かります。静止画像に写っている人物の3次元モーションの復元を行います。実際の入力と出力を図4に示します。静止画像内の人物の3次元モーションの復元の様子1行目の画像が入力であり、2行目の3次元メッシュモデルがそれぞれの入力に対応した出力となります。3行目のメッシュモデルは2行目のメッシュモデルを別視点から見たものとなります。表2が実験結果になります。静止画像内の人物の3次元モーションの復元を試みたのは今回の研究が初めてであり、既存研究が存在しないため、比較するベースラインが存在しません。そこで、現在のフレームワークから過去と未来のフレームワークを予測した時の予測性能(Const.)と最近傍法による予測結果(N.N.)をベースラインとして設定しました。2は含めなかったモデルになります。表2を見てみると提案手法が過去と未来のフレームワークの予測精度において優れた結果を残していることが分かります。まとめ本記事では、「静止画像内の人物の3次元モーションの復元」を試みた研究を紹介しました。今回の研究には以下の2つの貢献があります。静止画像内の人物の3次元モーションの復元に初めて試みる3次元姿勢情報推定のタスクにおいて、2次元姿勢情報の疑似ラベルを付与したデータを用いた半教師あり学習によって精度を向上させることが可能なことを示したまず1つ目の貢献についてですが、「静止画像内の人物の3次元モーションの復元」に初めて試みたことは非常に大きな貢献でした。この研究はスポーツ業界だけでなく様々な業界で応用することが可能です。防犯カメラが取得した画像に適用することで、犯罪者の3次元モーションを復元することが可能となり、犯罪発生時に捜査をサポートすることができます。職人の動きを録画したビデオに適用することで、職人の動きを3次元で観察することが可能となり、技術継承をサポートする事もできます。この他にも様々な応用先を考えることができます。次に2つ目の貢献についてですが、半教師あり学習が3次元姿勢推定に効果があることを示したことも非常に大きな貢献でした。今回の研究では、3次元姿勢を推定するタスクにおいて、ラベル無しデータセットに3次元姿勢情報ではなく2次元姿勢情報をラベル付けし、精度の向上を図りました。ラベル無しデータに付与するラベルが他のラベル付きデータのラベルよりも情報量が小さくても精度の向上に繋がることは重要な知見であり、他のタスクにも応用が利きます。3次元姿勢推定のようにラベルの情報量が大きく、かつ付与しづらい同様のタスクにも応用できる可能性はあるので是非試してみる価値があるかもしれません。本記事を読んで今回の研究に興味が湧いた方は是非、論文の方も読んでみてください。今回使用したデータセットやモデルのソースコードは以下のサイトで公開されています。合わせて確認してみてください。Visionこの記事をシェアするLINE記事の内容等について改善箇所などございましたら、お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。この記事を書いた人yato大学院で機械学習の研究をしてます。twitterもやってます。Dee...東京オリンピックにも採用、急速に利用が広がる「顔認証」...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...Googleが公開した自然言語処理の最新技術、BERT...モデルの脆弱性・様々な精度はデータセットの「粒度」でわ...深層学習×マルチモーダル。マルチモーダル学習で未来が広...MuZeroの衝撃。Dee...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...Googleが公開した自然言語処理の最新技術、BERT...MuZeroの衝撃。お取り扱いについて株式会社wevnal(以下「当社」といいます。)は、AI-SCHOLAR(以下「本サイト」といいます。)をご利用になる方(以下「ユーザー」といいます。)を遵守すると共に、以下のプライバシーポリシー(以下「本プライバシーポリシー」といいます。)に従い、適切に取り扱うものとします。本プライバシーポリシーにおいて、個人情報とは、生存する個人に関する情報であって、当該情報に含まれる氏名、生年月日その他の記述等により特定の個人を識別することができるもの(他の情報と容易に照合することができ、それにより特定の個人を識別することができることとなるものを含みます。)を意味するものとします。当社は、ユーザーの個人情報を、以下の目的で利用いたします。当社は、ユーザーの同意を得て、以下の提供先に、以下の提供情報内容を以下の手段又は方法で提供することがあります。(1)提供先について登録ユーザーが本サイトにおいて資料の請求、閲覧もしくはダウンロードする場合、その資料の提供元である本サイト掲載企業(当該提供元企業から委託を受けた者を含みます。所属企業ではなく、企業に所属する個人が提供元である場合もあります。)に、以下の情報が提供されます。電磁的な方法による送信また、次に掲げる場合は、関係法令に反しない範囲で、ユーザーの同意なく個人情報を第三者に提供することがあります。一部または全部を外部委託することがあります。委託先における個人情報の取扱いについては当社が責任を負います。当社は、個人を特定できないよう加工した統計データを作成することがあります。当社は、統計データを何ら制限なく利用することができるものとします。して、ユーザーご本人に限り、個人情報の開示、訂正、追加または削除、利用停止、ならびに第三者への提供の停止(以下「個人情報の開示等」といいます)を求めることができるものとします。以下の場合は個人情報の変更等に応じないことがあります。他の法令に違反することとなる場合また、当該個人情報の変更等に多額の費用を要する場合、その他の、個人情報の開示等を行うことが困難な場合であって、ユーザーの権利・利益を保護するため必要なこれに代わるべき措置をとるときは、個人情報の変更等に応じないことがあります。当社サービスは、Cookie及びこれに類する技術を利用することがあります。これらの技術は、当社による当社サービスの利用状況等の把握に役立ち、サービス向上に資するものです。Cookieを無効化されたいユーザーは、ウェブブラウザの設定を変更することによりCookieを無効化することができます。Cookieを無効化すると、当社サービスの一部の機能をご利用いただけなくなる場合があります。当社は、法令等の定めがある場合を除き、必要に応じて、本プライバシーポリシーを変更することができるものとします。プライバシーマークに関して当社は、プライバシーマークの認証を取得しています。パスワードをお忘れの。