Trackingの機能を、その他のデバイスで実現できるようにしました。PointiphoneXの場合赤外線でフェイストラッキングしています。今回は代替の手段として、画像認識ベースのdlibというライブラリを選択しました。dlibの顔検出を使うと目、鼻、口、輪郭といった顔のパーツを検出することができます。Detectionの学習済モデルを使っているケースが多いのですが、この学習モデルには商用利用に制限という問題があります。Detectionの学習済モデルを自身で作成する必要があります。dlibには学習するためのサンプルコードがあり、サンプルデータのように画像と顔のポイントの位置がかかれたXMLを作ることで比較的容易に学習データが作ることができます。今回はtrainとtestの画像を200枚づつ用意しました。Proで学習せた場合には40分くらいで学習が終わります。Detectionの学習済モデルに比べると、瞬きや、顔の左右の認識の制度が若干甘いですが、動画のように実用に耐えうる精度がでていると思います。Example」を参考に制作しています。ContactARKitを用いたアプリ開発のご依頼・ご相談は下記フォームよりお問い合わせください。