Trackingとは、動画において人物の動きを追跡するタスクのことです。Trackingを活用した様々なアプリケーションが想定されます。Tracking技術が重要となります。人の行動や感情の認識、物体の検知などを実現する画像認識のアルゴリズムAPISHARON(シャロン)は、人の行動や感情の認識、物体の検知などを実現する画像認識のアルゴリズムAPIです。Trackingにおける現状課題を理解することを目的とします。Trackingというタスクがあります。厳密に定義すれば、「動画像において初期フレームの物体の位置が与えられ、次フレーム以降の同一物体の位置を検出するタスク」となります。SURVEYを踏まえて簡単に整理します。Trackingと共通です。Tracking(MOT)は、似て非なるタスクであることに注意が必要です。MOTは目標物体が既知でなく、オクルージョンやインテラクションの問題が発生するタスクであるため、単にSOTのモデルを複数に適用すると、ID(identification)がごちゃごちゃになってしまいます。OnlineかOfflineかによって、KPIも変わってきます。Onlineであれば、精度もさることながら実運用時における速度がより追求されますし、一方で、Offlineであれば、未来を含めて一連の動画において処理を行うため、より精度が追求されます。大量の(長時間の)データを振り返る必要がある場合も多く、あとから振り返るタスクであっても速度が求められることがよくあります。Trackingの構造としては、以下の4ステージをとることが主流のようです。Trackingのタスクを内包すると考えることができます。TrackingでかつOnlineのタスクが主流である」と言えるでしょう。Bottom-Upのアプローチあたりが有力なアルゴリズムのようです。LightTrackの詳しいアルゴリズムや実験の輪読資料は以下の通りです。性能は以下の通りです。(論文から転載)なお、LightTrackのonlineでのfpsは、trackingの処理に要する時間であって、姿勢推定などの時間は含まれていないことに注意。性能は以下の通りです。(論文から転載)ここで、両者ともOnlineのタスクであるので、2つの大きな違いはBottom-UpかTop-Downのアプローチのどちらを用いているかということでしょう。それぞれの特徴を整理すると以下のようになります。方が精度はより優れていることがわかります。推論速度は基準が異なっているため単純な比較はできないですが、LightTrackはTrackingにかかわる処理速度がPoseFlowの5倍と今までになく速く、PoseEstimationの速度に対して無視できるほど速いので、速度ではLightTrackに軍配が上がると見て良いでしょう。ここで、実用により重きをおくのであれば、Top-Down型のTrackingアルゴリズムはそのシンプルさゆえに拡張性と互換性に優れているメリットは大きいです。HRNet)を用いることで、その性能を簡単にupdateすることができます。Trackingと並行して用いるなど、end-to-endのBottom-up型の設計よりも、アプリケーション設計する際に要素要素で切り離せるTop-Down型のアプローチのほうが組み込みやすいというメリットがあります。Learningの強みでもありますが、なんでもかんでもend-to-endでアルゴリズム設計してしまうと、互換性や拡張性が担保しづらいという実用面でのデメリットが発生してしまうと考えています。Learningが得意な領域までタスクを因数分解する方がスケールすると思います。アプローチのSOTAの研究と実活用の潮流を理解するに関して、「Top-Downのアプローチのほうが実用においてスケールする」と言えるでしょう。Trackingにおいて、LightTrackではヒトの姿勢の一貫性を確認するre-identificationのシステムを組み込むことで、特にセンサ(カメラ)の移動やズームにロバストであることを可能にしているが、複数のセンサの対応付けや、トラッキングは、別のタスク・研究要素であり、難易度は高いといえます。センサの死角に入って一定時間が立ってしまう場合(姿勢の一貫性によりTrackingできない場合)は、服装や顔といった視覚的な特徴から人物同定を行う必要があり、例えば店舗での顧客の追跡などは、複数のアルゴリズムを組み合わせたアプリケーション側の設計も必要になるでしょう。カメラの移動やズームが発生すると、位置情報だけのトラッキングではうまく行かない。長期的に死角にはいってしまうことが課題として言えそうです。Learningを用いた画像認識技術を中心に、リアル産業でのDXプロジェクトやアルゴリズムライセンス事業を行っています。Inc.ACES(エーシーズ)は、AIアルゴリズムの力でシンプルな社会を実現する会社です。Wantedly会社の取り組みや社員インタビューなど株式会社ACESの魅力をお届けしています。ACES(エーシーズ)は、画像認識を中心としwww.wantedly.comダウンロード#deep_learning#株式会社ACES#行動認識#PoseTrackingこの記事が気に入ったら、サポートをしてみませんか?気軽にクリエイターを支援できます。クリエイターへのお問合せnoteカイゼン目安箱クリエイターの。