CVで有名な日本作家さんから、VTuberになるために作られたアセットが新登場!!!スマートフォンやWebカメラで自分の顔を映せば、アバター(3Dキャラクター)があなたとそっくりな動きをしてくれます。前々から「OpenCVとDlibならパペ文字作れるんじゃないかな?」と思っていたら、やってくれました!ついに夢のアセットが登場しちゃいましたね!!ブレンドシェイプによる表情や、IKにも対応していて、かなり実用性高いですよ。これをベースにオリジナル要素を追加してパペ文字を超えよう!WebCamTextureの映像を使用して制御することが出来るサンプルプロジェクトです。あなたはWebCamTextureのみを使用して3Dモデルの頭の向きと顔の表情を操作することが出来ます。このサンプルプロジェクトでは次の手順で3Dモデルの頭の向きと顔の表情を制御しています。Unity($102.60)スマートフォンのカメラに写った「模様」や「顔のパーツ」をリアルタイムで検出して、ゲームオブジェクトを引っ付けたり、照合して使うAR系スクリプトです。Detector($43.20)「Dlib」と呼ばれる画像検出系の一種で「顔器官検出」をしてくれるAR系スクリプト。顔のランドマークをリアルタイムに検出して、三本髭や耳をカメラに同期して合成するあの人気アプリが作れちゃいます。データセットを使っています。作者がデータセットを差し替えていない場合は商用利用制限に注意してほしい、と記載いただけると嬉しいです。WebCamTextureからOpenCVのMatクラスに変換する。OpenCVのMatクラスから顔のランドマークポイントを取得する。DetectorOpenCVのMatクラスから顔のランドマークを取得してアバターに適応すると、カメラに映った被写体とそっくりに動いてくれます。顔のランドマークポイントから頭の向きを推定する。メソッドに設定しIKを制御する。推定した頭の向きを使用して3Dモデルの頭の回転を制御する。被写体が向いてる方向に、キャラクターが動く回転に対応!そして、リアルなアニメが作れる「IK制御」が含まれています。頭の方向が変わればバストアップ部分も自然な感じに動いてくれるのはVTuberさんにとって重要なポイントですよね。顔のランドマークポイントを使用して3Dモデルの顔のブレンドシェイプを制御する。「ニヘラ〜」とした表情など、被写体の顔とそっくりな表情なる顔のブレンドシェイプ制御に対応してます。顔の表情は、バーチャルYoutuberさんにとって大切な要素ですよね。Example」ですね。Detector”が必要です。Model)をWebCamTextureの映像を使用して制御することが出来るサンプルプロジェクトです。あなたはWebCamTextureのみを使用して3Dモデルの頭の向きと顔の表情を操作することが出来ます。このサンプルプロジェクトでは次の手順で3Dモデルの頭の向きと顔の表情を制御しています。WebCamTextureからOpenCVのMatクラスに変換する。OpenCVのMatクラスから顔のランドマークポイントを取得する。顔のランドマークポイントから頭の向きを推定する。メソッドに設定しIKを制御する。推定した頭の向きを使用して3Dモデルの頭の回転を制御する。顔のランドマークポイントを使用して3Dモデルの顔のブレンドシェイプを制御する。USD受賞すればいきなり6万円相当のプレゼントがGETできちゃいます!優勝すればアセットの元が取れちゃいますよ。$54.00スマートフォンのカメラに写った「模様」や「顔のパーツ」をリアルタイムで検出して、ゲームオブジェクトを引っ付けたり、照合して使うスクリプトです。こちらは日本作家さんのアセットです!OpenCVとはインテルが作った画像処理&解析技術のオープンソースライブラリです。Unityを開発されたとのこと。3.2.0と同じAPIが利用できます。機械学習等の機能を持つC/C++、Java、Python、MATLAB用ライブラリ。プラットフォームとしてmacOSやFreeBSD等全てのPOSIXに準拠したUnix系OS、Linux、Windows、Android、iOS等をサポートしている。Wikipediaカメラからリアルタイム画像検出まるで焼き肉パーティー!WebCamTextureを使ってリアルタイムにARマーカーや顔を検出してくれます。YouTube(2:04)カメラからARマーカーの画像検出してリアルタイムにポジションを同期します。ARの基本機能を行うための必要アセットです。3.4.1と同じAPIを利用できます(link)。WebCamTextureを使ってリアルタイムの画像処理が可能です。(iPhone5でリアルタイムな顔検出がスムーズに動作します。UnityのTexture2DとOpenCVのMatを相互に変換するメソッドを用意しています。Unityの多くのクラスで"IDisposable"を実装しているので、"using"を使ってリソースを管理できます。2017年9月13日に紹介しました。目や鼻、口の位置や様子など「顔器官検出」に特化した技術です。データセットを使っています。作者がデータセットを差し替えていない場合は商用利用制限に注意してほしい、と記載いただけると嬉しいです。Unity」が必要です。形状」「輪郭」のランドマークをしっかり捉えてくれます。白髪メガネのおじさんも、メガネフレームを回避して目の位置を特定。位置や方向がわかれば「目からビーム!」なんてことができる。目、口が開いてるか、閉じてるかも検出できちゃいますよ。人間ではなく猫のモフモフした顔も、学習データから検出することができるそうです。ObjectDetectorはHOG特徴量を用いて物体を検出します。同梱の顔の検出器だけではなく、自分で訓練した物体検出器を使用することも可能です。詳細はこちらのページを参照してください。Detectorについての事前知識、セットアップ方法がわかりやすいこちらのサイトさまの情報をかなり参考にさせて頂いております。YouTube(3:48)赤いボックスが今回のアセットDlibで、青や水色のサークルがOpenCVの検出。2014年1月8日に投稿された動画だからちょっと古い・・・。最新のDlibやOpenCVでなら違う結果になるかも。下記は個人的な感想です。Dlib・確実に顔だけを検出している。正確さを重視している。・顔じゃ無くても判定してしまう(赤背景にアルファベット。赤いボックスはdlibの顔検出器で、サークルはOpenCVの顔検出器からのものです。どちらも同じスピードで動作し、同じ数の真の顔を検出しますが、OpenCVには多くの間違いがあります。18.6を使って行いました。詳細については、http://dclib.blogspot.com/2014/02/dliをご覧ください。Detector」があれば、人間や猫などの動物の顔認証の精度が高くなります。多くの無料アセットが活用できるようになります。Example」が利用可能となり、顔の位置に合わせてメッシュの仮面を貼る事ができます。応用すれば髭や耳をデコレーションする人気アプリ「自撮り盛りカメラ」的なものが作れそうですね。顔の入れ替え目、鼻、口など顔の表面を、別の誰かと入れ替える面白アプリが作れます。Detector」2つ必要です。女子ウケがとても良くて、テレビでもよく紹介されてましたね。専用で作られたアセットは私が知る限り第一人者。パイオニアだと思います。19:30アセットストアに関する記事を人柱として毎日記録していくブログです。作者セールをリアルタイムでお知らせセール&無料化を自動検出する割引情報サイトを用意しました。2019パブリッシャーセール情報2020年11月9日ただいまブログ改修中です。『ガソリンスタンド』をテーマにしたトゥーンスタイルの街。Affiliateプログラムに参加しています。assets!”開示:この投稿にはアフィリエイトリンクが含まれている可能性があります。リンクをクリックして私たちが推薦したものを購入すれば、手数料を受け取ることがあります。これらのリンクをクリックしてもお金はかかりません。素晴らしいアセットを推薦しながら開発プロジェクトに資金を援助してくれるでしょう。民家オススメ記事のリンクいつも応援ありがとう!準備中はてなブログをはじめよう!assetsaleさんは、はてなブログを使っています。ブログを報告する引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。