みくだんみくだんMikuMikuDanceユーザーのブログ2018/03/04Hitogataでのフェイストラッキングの応用について実作業よりも、編集作業の方に時間をかなり取られた件。動画作ってる最中に、2つもバージョンが上がっちゃったよ......。実際、やってる事は8年前にKinectを使ってのモーションキャプチャ後の加工方法と同じで、今のMMD/MMM用に焼き直したものです。今のMMMは便利なプラグインや機能が豊富なので、8年前よりもかなり楽に加工できます。以下に動画に盛り込めなかった補足的な内容を記します。■目線Hitogataでは右目・左目も一応キャプチャしていますが、私の環境では精度が悪いせいかほとんど動いてない状態でした。最終的には目のキーフレームは全削除しています。頭ボーンのキーフレームを両目ボーンにコピーして逆相化しています。する事で、カメラ目線というか正面の方に向くような目線になります。目をIK化するのも手ですが、標準形ボーンでやる時にはこの方法が楽ではあります。■リップモーションについてブレスポイントの口の動き、『あ』から『う』もしくは『い』への移行モーションや微妙な合成具合、これらを手付けしようとするとかなり手間が掛かってしまいます。これが一発撮りと簡単な補正だけでいけてしまうのは、かなり大きな事です。モデルに合わせた加工は必要ではありますし、手付けには手付けの味の良さがあります。キャプチャと手付けの組み合わせでより良く見えるのであれば、この手法はかなりアリなのではないかと思っています。動画中では説明しませんでしたが、不要フレーム削除機能も併用しています。モーフ系は不要フレーム削除でかなり削れるので、VMD軽量化に役立ちます。眉の『上』『下』の動くポイントが分かりやすくなるので、使用する事をお薦めします。ボーン系については、リダクション作業後にやるようにしましょう。リダクション系ツールでは、モーションキャプチャデータを扱う事を前提としているので、連続したキーフレームになっている必要があります。Toolは、隙間のあるキーフレームも、読み取り時に警告が出て自動的に補間はしてくれます)なので作業段階としては、1:Hitogata出力のVMDを読み込み2:曲とのタイミング合わせをした後、モーフとモーションで分けてVMDを保存。モーフも、眉と口は分けておくと後で楽になる3:口(リップ)は1/2簡易リダクション、眉は1/4リダクションで更に別名保存4:リダクションツールでボーン系を整理5:それぞれ処理が終わったVMDを順次読み込んでセットしたものをVMD別名保存6:不要フレーム削除機能で、動きのないキーフレムを削除というような段取りになります。キーフレームが削れるので、後加工もしやすくなります。■セーラー服さんの動きこちらは補正作業無しのベタ打ち状態です(平均化はしてます)編集作業中にalpha5がリリースされ、音声入力に対応し、かつバグも治っていたので使ってみました。VOICEROIDに喋らせた音声ファイルを読み込ませたものです。入力とゲイン範囲スライダの調整次第で、それなりな動きのリップが作れます。VOICEROIDの音声ファイルを一本化し、それを聞きながらHitogamiで上半身をモーションキャプチャしたものです。■リダクションツールについてかなり古いバージョンでの説明となりますので参考になるか分かりませんが、過去に実験動画をあげてますので張っておきます。Windowsであれば、もう少し手間が掛からないとは思いますが、リダクション作業はどちらにせよ必要にはなります。Hitogataの最新版や追加機能については、別エントリにて記します。次の記事プロフィールAuthor:かんなニコニコ動画などでMMD動画をうpしてるしがないユーザーの一人。