取りこぼしが多くて(10%以上)手動で修正するのが大変なんですA:対象動画を変えるしかない。ソース動画の顔の角度が厳しかったりブレたりしてることが原因と思われる。その動画で作っても出来はイマイチだから、別動画または別シーンで作ることをお勧めする。それとも別フォルダに入れてtrainしてconvert時に戻すのでしょうか?A:srcのそういう画像は削除する。違う光源の追加や取捨選択Q:src画像A:同じ角度でも目を閉じてる、目が半開き、目線が違う。言い出したらキリないけどPCスペックが許す限り画像は多い方がいいけど、その分trainも遅くなる。Q:斜視A:斜視は、あらゆる目線の画像が少なすぎるかtrain不足なことが多いQ:横顔、上向き、うつむきA:横顔は頑張って集めたり高画質化したりで手間かけたほうがいいけど、上向きや俯きはもう他人のでもありだと思うよ。AIや1229版以降のenhance機能で高画質化train関連Q:trainが始まらないA:バッチ数を1にしてみる。flipが犯人のケースが多い。顔を貼り合わせるから。flipはオフの方がいい。左右完全対称の人間なんてこの世にいないし、別人になりやすい。A:srcがよっぽど足りない状況じゃないかぎりオフが推奨ですな。Q:学習速度の改善、似せる方法A:dstの解像度も高ければ高いほどいい。コンバート後に解像度を下げて馴染ませて完成Q:横顔学習A:横顔とか重点的にトレインしたい時はその画像だけalignedに置いてやってる。プレビューで分かるが横顔の学習はその方が早い。全体的な成果に対しての影響は分からない。単純に画像増やすのもいいと思うけどalignedの画像増えると全体的なトレイン時間は増える。yaw?をオンにしてると学習前にsrcとdstのyawでsortしてdstに無いyawのsrcは学習しない様になる。modifierを上げてerodeも上げるrctあるいはlctを選ぶおでこのあるsrc画像を増やすvram11GBあればFAN-learned/dstを選ぶQ:H128境界線問題A:境界線問題解決した。MODEL.py見ると前までのやつはデフォルトでerodeとblurが+100になってたみたいQ:指定したフレーム番号からコンバートする方法は?A:dstフォルダ直下の画像、dstのaligned_debugフォルダ内の画像、dstのalignedフォルダ内の画像をconvertしたいものだけにすればいいQ:H128でdstの眉が使われてしまう問題A:H128でdstの眉が使われてしまう問題はDFでtrainしてerode=-200でconvertすることで解決する。Q:erode設定A:erodeは思い切ってマイナスした方がいいな。blur250くらいで本人さんになったA:erodeをどこまでマイナスにできるかはdstによる。マイナスにしたところで本人に近づかないdstもある。convert_op.txtみたいな感じで追加して、そのテキストファイルに設定を書いとけばできる。後はconvert_op.txtにn11-20020000rct以下省略・・・って感じで書いて保存。設定ごとにバッチファイルとテキストファイルを作れば、使い分けもできる。src寄りの顔に仕上がる。辺りでかなり本人さんになるなA:erodeは変換範囲のパラメータであって、srcに寄せるためのオプションではない。A:実際やってみて"scrに似た"って書いてるだけだ。A:実際変換範囲が広がれば似るだろうし。このスレで言うsrcに似てるかどうかというのは、パーツの配置やそれぞれの再現度などを指して議論されているわけで。erodeを下げると似ましたーってのは単純に文章の書き方がおかしい。A:まぁ言わんとするところは分かるがsrc寄りになるもんはなる。A:似るのは間違い無いんだから「よく分からんなら書き込まなくてよい」は言い過ぎ。A:まぁ確かにここでは「似る」ってのは言うとおり、srcの再現性が重要課題だから。キミの設定では画角変化で異常が出るし上げるほど馴染みに問題が発生する。Blur上げ過ぎるとDst側の影響を受けるから「似なく」なる。Mask関連Q:眉毛ごん太問題A:眉毛ごん太問題遭遇したことないが、想像するにsrcとdstの前髪・眉毛をマスクしていないconvert時にerodeをマイナスにしていないsrcとdstの両方またはどちらかのランドマークがずれているあたりかね。でこだしsrcを収集するのがもっとも手がかからない。本質的には前髪ぱっつんのsrc画像は使わない前髪を避けてmaskを手動再設定elode値を上げる(が輪郭再現とトレードオフ)FANdstにするとうまくいくこともある1.以外は結局srcの眉毛ではないのでどう考えるかは人それぞれA:というより前髪があるsrcは原則不可ということを最初に説明すべき。Q:srcにmaskすれば、前髪生えないって本当?src全部に手動でmaskって、かなりの手間だと思うんだけど。fan-dstにする必要はある。A:全部にする必要はない。offにしてmask無しのalignedを十分学習する。onにして適当に間引いてmaskしたalignedのみを学習。previewで5列目のmaskを確認してからconvertFANSEG関連Q:FANSEGモデルの学習A:srcに学習用にmask編集済みaligned。dstには確認用のaligned。どっちも障害物有り無し両方あったほうがいい。"%DFL_ROOT%\nnlib\FANSeg_256_full_face.h5"pause後のコピーがあるから、バッチはフルサイズ、f元のfansegモデルデータのバックアップをお忘れなく。髪の毛も学習させてる。Q:FANSegモデルはdstごとに作成するのですか?srcごとに作成するのですか?A:dstごとに作成して、追加していけば、dstごとに作成しなくてもほとんど大丈夫なモデルができる。A:FANsegfansegは障害物を通常のtrainとは別に学習して、convert時のオプションで適用で、それらを取り除く。通常のmask学習は通常のtrain時にmask範囲を学習して、convert時にその範囲だけ出力。mask学習で口回りにmaskすると口回り全部がdstで出力されるのに対して、fansegで棒や舌を学習させると、その部分だけdstで出力される。いうことで、舌が変な感じで出てたりということもある。一般的に青が下がってないと黄色も下がらない(例外あり)白:グラフの横軸。経験則的にはsrcの画像バリエーション(色んな角度や目線/口の開き方等)が多いほど青グラフは下がりにくい画像を少なくすれば早く学習はできるが対応できるdst動画は少なくなる初心者質問Q:srcの顔の未抽出が多いのだがA:もっといいsrc探しの旅に出ればいいQ:train始めた後、src顔画像に低画質のやつが混じってるの気づいたんだけど後から消しても大丈夫?A:不出来なsrc画像は消して問題ないQ:trainが始まらないA:バッチ数を1にしてみる。最初は軽いモデル(H64、Quick96、DF)で試してみるQ:srcやdstのalignedフォルダに別人が映ってしまった。顔では無い物が顔扱いされてしまったA:alignedフォルダから別人を削除すればよい。aligned_debugフォルダは触らなくてよい。alignedフォルダに無い顔は学習の対象外Q:CPUでやったら、遅すぎる。時間がかかりすぎるA:CPUはあくまでお試しです。素直にグラボを購入しましょう。autoencoderの設定は途中で変更不可だからA:モデルデータの互換、継続train可の都合もあり、途中で変更不可の設定はありA:もしどうしても、前回設定から変更したい場合は、モデルデータをバックアップコピー後、削除。0からTrainし直しQ:顔画像の枚数はどれくらいが適切でしょうか?A:公式ではsrcは2000〜5000枚程度が推奨値。少なすぎると、上手く顔入替えができなかったり、多すぎるとTrainが遅くなったりするだけとか言われていますA:枚数だけではなく、顔の画角、表情なども重要でしょう。ほとんど正面顔、目開き、口閉じだけで5000枚と色々なカメラアングルあり、目の状態、口の状態、表情ありとでは、全然話が異なってくるかとA:類似顔画像は、多数学習しても仕方がないので、data_src.mp4からの切り出しは1〜3fps程度が推奨されています。瞬きや口の状態など取りこぼす可能性はありますがQ:顔の枚数が増えると、単純に倍数で時間がかかる?それとも、2乗3乗4乗で時間かかるの?A:倍数にもならないし2乗3乗4乗にもならない。指数関数的に増えることはない。Q:輪郭ごと変換って出来ないのでしょうか?A:できないと思います。理解、ライブラリの仕様の理解など、様々な難しい、深い事の理解が必要かと思いますA:顔の輪郭は認識していますが、あえて(?)交換していません。顔の輪郭を交換すると、アイコラ的な物になってしまい、かえって不自然だからでしょうか?髪型との整合性が取りづらいからでしょうか?A:仮に輪郭の入れ替えでもやろうとしたら、少なくとも、DFLのPythonのソースコードをカスタマイズする必要はありそうですQ:頭ごとすげ替えってできないのでしょうか?A:頭は顔ではないのでできない。顔の範囲はaligned_debugの下の画像のグレーの範囲。Editorを立ち上げた時の画像のグレーの範囲A:それらは、アイコラ職人として、手作業で静止画編集ソフトを駆使すれば入れ替えできるのでは?Q:srcの切り抜いた顔って、顔パーツと輪郭全部揃ってるヤツ以外は捨てないとダメなの?A:例えば、うつむき顔で、上目遣い、カメラ目線、口が手などで隠されている顔。残念ながらその顔では口が手に入らなかったが、他の顔画像からうつむき口が入手できればよかろうA:片眉が前髪で隠れている顔。