2.0でディープフェイクを作成しているときに遭遇します。ctrl+fを使用して探しているものを見つけ、一番下までスクロールしていくつかのヒントと便利なものへのリンクを探します。Q:ディープフェイクとは何ですか?A:ディープフェイクは、人工知能(AI)または機械学習を使用して、個人の顔を別の顔と入れ替える偽のビデオです。Q:ディープフェイクはどのように作られますか?A:ディープフェイクの作成プロセスは、Pythonでコーディングやコマンドを知らないユーザー向けにプロセスを合理化するために作成されたアプリによって大幅に簡素化されています。現在更新されている2つの最もアクティブなアプリは、DeepFaceLabとFaceSwapです。3.Q:みんなが話しているFakeAppとは何ですか?A:ディープフェイクの初期には、インターネットにディープフェイクを初めて導入したFakeAppというアプリがありました。このアプリは現在開発されておらず、他のディープフェイクアプリケーションの進歩にもかかわらず、メディアは誤った情報を受け取り、これが現在ディープフェイカーによって使用されているアプリであると考えています。FakeAppの使用はお勧めしません。Q:ディープフェイクを作成するのにどれくらい時間がかかりますか?A:ターゲットビデオの長さ、およびデータ(フェイスセット)の大きさに応じて、説得力のあるディープフェイクを作成するには1〜7日かかります。Q:ほんの数枚の写真でディープフェイクビデオを作成できますか?A:一般的に、答えはノーになります。フェイスセットを作成して適切なディープフェイクを作成するための推奨される方法は、ビデオを使用することです。角度と表情が多ければ多いほど良いです。確かに、わずか数百枚の写真でディープフェイクのビデオを作成することはできますが、動作しますが、結果は納得できません。Q:理想的なフェイスセットサイズはどのくらいですか?A:data_src(有名人)フェイスセットには、1000〜5000枚の画像をお勧めします。さまざまな角度や表情を幅広く持っている限り、数は重要ではありません。Q:ディープフェイクがぼやけているのはなぜですか?A:トレーニング時間が不足している可能性が高いです。10万回以上の反復トレーニングを行うことをお勧めします。フェイスセットが適切に整列されていない可能性があるため、クリーンであることを確認してください。ガイドのセクションをご覧ください。Q:最終的なディープフェイクビデオでモデルがまばたきしないのはなぜですか?A:これはおそらく、data_srcに閉じた目の画像がないためです。data_dstが入っているシーンに合うように、十分な量の表情と角度があることを確認してください。Q:トレーニングをいつ停止する必要がありますか?A:正しい答えはありませんが、一般的なコンセンサスは、プレビューウィンドウを使用して、いつトレーニングを停止して変換するかを判断することです。停止すべき正確な反復回数や損失値はありません。少なくとも100,000回の反復をお勧めしますが、プレビューウィンドウを使用して判断します。顔がシャープでプレビューが改善されない場合、モデルはおそらくそれ以上学習しません。srcにぼやけた画像がある場合、モデルが改善/訓練されない場合があり、そのデータセットにぼやけた画像がない場合、常にsrcとdstの両方に最適な高品質で鮮明な画像とビデオのみを使用するようにしてください。/メモリ不足エラーが発生します。A:GPUがサポートされていないか、DFLバージョンが間違っているか、VRAMが不足しています。GPUに適切なバージョンのDFLをダウンロードしたことを確認します。GPUがサポートされているかどうかを確認します。OOMエラーが表示される場合、VRAMが不足していることを意味します。一部のモデルでは、それを修正するために変更できるさまざまな設定があります。同じ結果を得るには、より高いバッチよりも長くトレーニングする必要がありますサイズ、2-4のような非常に低いバッチサイズもモデルの精度を低下させる可能性がありますが、これは単なる推測であり、100%が真であるとは確認されていません。SAEHD)を使用しない有効化それらは反復/トレーニング時間を増やし、より多くのvramを使用します。実行に問題があるが、バッチサイズを小さくしたくない場合は、0に設定します。d)ピクセル損失(SAE)を使用しないでくださいピクセル損失のパフォーマンスヒットはわずかです。VRAMが不足したりOOMエラーを取得したりする場合は、無効にしてみてください。SAEHD)を使用しないトレーニング中にマスクを学習すると、VRAMの使用が増加し、トレーニングが遅くなり、反復時間が長くなります。f)トゥルーフェイストレーニング(SAEHD)をオフにするトゥルーフェイスはVRAMの使用量を増やし、トレーニングを遅くしたり、反復時間を増やしたりします。これらの2つの設定は、新しいモデルを作成する場合にのみ後で変更できないことに注意してください:g)解像度を下げてモデルを実行します実行できるすべての最適化や、まだできないさまざまな機能を無効にしても目的の解像度を実行するには、実行できるまで(16倍)下げるだけです。decoder_chの寸法を小さくします(推奨されません)これらを小さくすると、追加の機能/高解像度モデルを実行できますが、精度が犠牲になります。4.までスクロールしてください。エラーが発生した場合は、PCを再起動してください。Q:GPUはサポートされています。バッチサイズを小さく設定し、適切なDFLバージョンを使用していますが、それでもエラーが発生します。A:ドライバー(GPU)の問題があるか、モデルが壊れているか、使用しているDFLのバージョンと互換性がないか、データセット(data_srcおよびdata_dst)が壊れている/互換性がない/欠落しています。1.別のモデルまたは新しいモデルを使用してみてください(モデルフォルダーからモデルファイルをバックアップし、それらを削除して新しいモデルでやり直します)。それでもエラーが修正されない場合は、データセットに問題がある可能性があります別のソフトウェアで抽出されたファイルまたはデータセットが欠落しています。Googleまたはフォーラムの検索機能を使用して、そのエラーの一部を見つけてください。誰かがすでにそれについて投稿している可能性があります。githubページに移動して報告するか、解決策を探してください2.すべてを実行してもまだエラーが発生する場合は、PCを再起動して再試行してください。3.まだ何もですか?フォーラム、Google、GitHubを確認しても何も見つかりませんでしたか?ドライバーやcudaなどの問題を確認してください。どれも違いがない場合は、新しいスレッドを作成できます(またはgithubページでバグを報告します)。Q:DFLの新しいバージョンでモデルをトレーニングしようとすると、「Xレイヤーを含むウェイトファイルをYレイヤーのモデルにロードしようとしています」というレイヤーに関するエラーが発生します。再トレーニングまたは新しいモデルの作成が必要になります。1.古いモデルを再トレーニングするには、すべてのファイルをモデルフォルダーにコピーし、ワードデコーダーを含むすべてのファイルを削除します。トレーニングを開始すると新しいデコーダーファイルが作成されます。0から開始するよりも少し高速ですが、まだ時間がかかります以前の状態に戻します。2.または、新しいものを開始します。古いモデルを引き続き使用する場合は、古いDFLバージョンを使用する必要があります。GPUのDFLをダウンロードします。GPUそして、githubページに移動して、これをダウンロードします:これにより、_internal/DeepFaceLab内にある古いバージョンのファイルがダウンロードされます。それらをすべて削除し、githubからダウンロードしたばかりの.zipアーカイブのファイルに置き換えるだけです。これにより、DFLが07.09から正しいバージョンにダウングレードされます。SAEモデルの更新前。Q:有名人のデータセットのフレーム数が多すぎることがよくあります。batファイル以外の重複を削除して「最小フレーム、最大変動」と呼ばれるように縮小するプロセスを自動化するための最適なツールは何ですか?A:同様の顔を検出して削除しようとするツールがおそらくあります。私はこれを手動で行います。50万未満の場合は、そのままにしておきます。10k〜15kの写真がない限り、同じような重複するものを削除する必要はありません。良い結果を達成するのに役立つユニークな詳細。Q:数千回の反復を行ったモデルをトレーニングしていましたが、プレビューウィンドウで突然黒/白に変わった/奇妙に見える、私の損失値が上がった/ゼロになった。A:モデルが崩壊しました。モデルを使用できなくなり、最初からやり直すか、バックアップがある場合はそれらを使用する必要があります。モデルの崩壊を防ぐには、トレーニングを開始するときにグラデーションクリップを使用します。Q:ディープフェイクを作成するには、どのソフトウェアを使用する必要がありますかfakeappをどのように使用しますか?fakeappでエラーが発生します古いfaceswapソフトウェアのリンクはどこですか?A:DFLまたはFaceSwapを使用してください。他のすべてのソフトウェアは古く、時代遅れで、もうサポートされていません。DFLガイドとダウンロードフェイススワップガイドとダウンロード使いやすく、通常はより良い結果が得られるDFLをお勧めします。WebでのDFLのサポートも充実しています。Q:モデルを再トレーニングしたくありませんが、SAEモデルを変更する前に古い/前のDFLバージョンにアクセスできません。Q:どのようにしてこのような格好良いディープフェイクを作りますか?ガイドはありますか?A:あります。Cと交換できますか?モデルを再利用できますか?A:はい、実際にモデルを再利用することをお勧めします。有名人の同じモデルと同じdata_src/sourceデータセット/facesetでトレーニングを開始できます。モデルを再利用すると、より現実的なモデルが得られます。Q:モデルを事前トレーニングする必要がありますか?A:再利用と同様に、はい、事前トレーニングが必要です。次の2つの方法があります。.新しいモデルを開始するときに選択できるDFL内の組み込みの事前トレーニング機能を使用します。2.または、独自のデータセットを使用して、通常どおりモデルをトレーニングします。Q:エラーが表示されます。alignedおよび/またはdata_dst内の画像は、DFLでのトレーニングには有効ではありません。これはいくつかの原因で発生する可能性があります。1.有名人の共有データセットの1つを使用している場合、それらはDFLとは異なるソフトウェアまたは古いバージョンで作成されている可能性があります。ランドマーク/位置合わせデータをさまざまな方法で保存した、さまざまなアプリで抽出された単なる写真です。S3FD」を使用して再度アライメントすることです。photoshopのdata_srcまたはdata_dstの整列フォルダー内の顔/画像を編集しました。これらの画像を編集すると、その中に保存されているランドマーク/位置合わせデータが上書きされます(名前を変更するだけで、Photoshopでの編集、メタデータの変更、ウィンドウの回転など、他の変更によってそのデータが失われます。dst、それらの内部に「整列」されていない)に戻し、元の整列フォルダーの名前を別の名前に変更します。したがって、新しいもの(aligned_1など)を位置合わせするときにそれらを失い、位置合わせプロセスを実行してから、両方のフォルダを結合し、これらの古い「悪い」画像を適切に抽出された新しいものに置き換えます。alignedフォルダーに、通常の、抽出されていない/位置合わせされたイメージがあります。Q:変換中にエラーが発生します。pngの顔が見つからず、顔なしでコピーします。Xフレームでは、整列されたフォルダーに顔が抽出されなかったことを意味します。角度または障害のために表示されたためです。DEBUG」を実行して手動でそれらの顔を抽出します。手動で顔を検出できます。画面上にそれを行う方法があります。それらの顔が整列したフォルダに抽出された後、手動整列中に赤いボックスがすべてのランドマークを覆い、適切な位置/回転になっていることに注意してください。使用できません(変換後にそのフレームにぼやけた顔が生成されます)。全体として、トレーニングを開始する前に、できるだけ多くの顔を揃えて適切に抽出する必要があります。epareトレーニング(ひどく整列顔の手動抽出とクリーンアップ)する前に、データセット:ます。Q:エラーが発生しています:警告:複数の顔が検出されました。別々に扱うことを強くお勧めします。警告:複数の顔が検出されました。ディレクショナルブラーは使用されません。変換中A:data_dst/alignedフォルダー内の複数の顔が原因です。抽出/整列するときに、指定されたビデオフレーム/画像で検出できるすべての顔に対してそれを実行します。0001_2.jpg(3つの顔を検出した場合)のようなファイルを作成します。終わるファイルのみを残す必要があります(理想的には、トレーニングの前にそれらを削除するので(モデルが不要な顔を学習しないように))、既にトレーニング済みの場合は、変換する前のそれらを削除することができます。同時に他のフレームで異なる顔を検出した可能性があることです丁度、_0は(他の誰かの)間違った顔であり、_1は正しい顔です。DEBUG」でそれらのフレームを手動で抽出します。_0を持つすべての面が適切な面であり、他のプレフィックスに間違った面が含まれている場合は、それらを削除します。DEBUG」を使用して手動抽出を実行することにより、手動抽出を行う必要があります。Q:フレームの変換中(インタラクティブコンバーターの使用の有無にかかわらず)、一部またはすべてのフレームに元の顔が表示されます。A:コンバーターモードがオーバーレイまたは「オリジナル」以外のその他のモードに設定されていることと、data_dst.mp4ファイルのすべてのフレームの顔を揃えていることを確認してください。場合を顔がまったく表示されない/元の顔のみが表示される(常にオーバーレイモードまたはrawモードで確認する)data_dst/alignedフォルダー全体またはそのコンテンツが欠落している場合があります。その場合は、すべてを再度抽出/配置します。すべてを行った場合、data_dst/alignedフォルダーにすべての整列された顔があり、コンバーターは適切なモードに設定され、元の面のみが表示されるので、おそらく知らないエラーが発生していますその場合は、PCを再起動するか、DFLの異なるバージョンを試してください。Q:ディープフェイクを変換すると、顔/マスクの縁の下/周囲に暗い/明るい輪郭/影ができます。A:特定のモード(履歴一致)と一部の色転送モードおよびぼかし/侵食を使用する場合のマスキングの問題です。Match」と呼ばれる機能があり、文字「Z」で切り替えることができ、変更すると外観が異なりますが、その下の影は消えます、m(mix-m、sot-m、idt-m、mkl-m)で終わるすべての色転送モードについて。継ぎ目を隠すには十分です。Q:トレーニングに使用するモデルがわかりません。どのモデルが最適ですか?A:状況に応じて、ガイドを読み、自分で実験してください。DFまたはLIAEアーキテクチャを備えたH128またはSAEをお勧めします。LIAEで処理されます。TrueFaceと呼ばれる新しいモデルもありますが、まだ非常に実験的であり、将来(おそらく)多くの変更が行われるため、使用しないでください。数値はどういう意味ですかA:これらは損失値です。それらは、モデルがどれだけうまく訓練されているかを示しています。焦点を合わせるべきではありませんそれらはシャープで見栄えが良く、何も心配する必要はありません。モデルの崩壊を防ぐために、SAEモデルをトレーニングするときは、常に勾配クリッピングを使用するようにしてください。Q:理想的な損失値とは何ですか、低/高損失値はどうあるべきですか?A:それはすべて、モデルの種類、設定、データセット、さまざまな要因に依存します。SAEモデルの損失値を基本的なH128モデルに処理できるわけではありません。/モデルの更新で変更できますが、現時点(27.09.19)では次のようになります。13.09.19アップデートでSAEモデルから削除されました)損失値は0.2未満である必要があります。これは、srcとdstの両方の損失値に当てはまります。Q:モデルが崩壊しましたが、どうにかして回復できますか?A:いいえ。最初からやり直すか、作成した場合はバックアップを使用する必要があります。Q:どのマスクタイプを使用すればよいですか?学んだ?Dst?ファンデスト?それとも他の何か?これらのマスクタイプは何を意味し、どのマスクタイプが最適ですか?顔の障害物(顔、手、指、その他のもの)をマスクする方法。A:DFLには多くのマスキングオプションが組み込まれていますが、どのオプションが最適で使用すべきかは、達成しようとしているものによって異なります。学習したマスクを使用するには、モデルの起動中(新しいモデルのトレーニングを開始するとき)に有効にする必要があります。maskオプションと同じように見えます。learned:トレーニング中に顔の形を学習することで最良の結果を得ようとするマスクです。dst:dst顔の形状から派生したマスクです(位置合わせ/抽出プロセス中に位置合わせされた顔画像に埋め込まれたランドマークに基づきます)。FAN-prd:dst形状を考慮せずに、予測された顔の形状(最後の形状)に基づくマスクです。手、指、眼鏡などの障害物を顔から取り除くように訓練されています。場合によっては見た目が悪くなる可能性があります。DSTよりもSRCフェイスの形状を維持する必要があります。FAN-dst:は、予測される顔の形状を考慮せずに、DSTの顔の形状に基づいたマスクです。手、指、眼鏡など、顔から障害物を取り除くように訓練されています。通常、非常に安定した一貫したマスクを提供しますが、SRCよりもDSTの顔の形状を維持します。FAN-prd*FAN-dst:予測された顔形状とdst顔形状に基づいたマスクであり、両方のマスクを平均しようとします。手、指、眼鏡などの障害物を顔から取り除くように訓練されています。learning*FAN-prd*FAN-dst:上記+訓練中に学んだこと、技術的には最も優れた正確なマスキング方法ですが、トレーニング中に学習マスクを有効にする必要がありますが、パフォーマンスのペナルティはわずかです。FAN-dstまたはFAN-prd*FAN-dstまたはlearn*FAN-prd*FAN-dstを使用することを個人的にお勧めします。FAN-prdはおかしな/悪いマスクを生成するためお勧めしません。'data_dstの面に障害物がなく、極端な側面角度はありません。dstの代わりにlearnedを使用することもできます(再び、顔に障害物がない場合のみ、口の中の笛/物も障害物なので、BJディープフェイクを行う場合はFANマスクを使用します)。ヒント:トレーニングで学習マスクを使用すると、少し遅くなります。トレーニングを開始した後に無効または有効にすることはできませんが、モデルフォルダーの.datファイルを置き換えることでハッキングできます(常にバックアップを作成します。srcm.h5を削除します必要のないファイル(学習したマスク情報を保存します)。無効になっているモデルで学習マスクを有効にするには、同じことを行い、古いモデルをバックアップし、学習マスクを有効にして新しいモデルを作成し、.datを置き換えて、dstm/srcmデコーダーファイルをモデルにコピーします。更新:DFLの最新バージョンでは、ファイルを変更することなく、SAEおよびSAEHDモデルで学習したマスクを有効/無効にできます。Q:有名人のデータセットの画像の数が多すぎることがよくあります。組み込みのDFL機能を超えて重複を削除するプロセスを自動化するための最良のツールは何ですか?A:同様の顔を検出して削除しようとするツールがおそらくあります。私はこれを手動で行います。50万未満の場合は、そのままにしておきます。10k〜15kの写真がない限り、同じような重複するものを削除する必要はありません。良い結果を達成するのに役立つ詳細。alignedフォルダーから新しいフォルダーにコピーし、Windowsから置換またはスキップを求められたら、ファイルの名前を変更するオプションを選択しますそのため、すべてを保持し、古いものを新しいものに置き換えないでください。faceset/dataset/data_dstの一部の顔が少しぼやけたり、影が付いたりすることはありますか?data_dst/alignedフォルダー内のぼやけた顔をどうするかA:data_dstをできるだけシャープにし、モーションブラーをできるだけ含まないようにします。data_dstのぼやけた顔はいくつかの問題を引き起こす可能性があります:まず、特定のフレーム内の顔の一部が検出されないこれにより、変換/マージ中に元の顔が表示されます抽出。2番目は、他の人が間違って整列される可能性があることですこれにより、このフレームの最終的な顔が回転/ぼやけてしまい、すべて間違って見えるだけで、他のぼやけた顔と同様に、トレーニングと変換に使用するために手動で整列する必要があります。第三-場合によっては手動で位置合わせしても、顔を正しく検出/位置合わせできない場合があります。これにより、ぼやけたり、モーションブラーが含まれていたフレームで元の顔が表示されます。モーションブラーを含む、または正しく整列されたぼやけた(シャープではない)顔は、トレーニングで使用されるモデルがモーションブラーを理解できないため、悪い結果を生む可能性があります。SAE、実際にはあらゆるトレーニングモデル)は、これをその部分の形状/外観の変化として解釈するため、予測された顔と最終的な偽の顔の両方が不自然に見えます。alignedフォルダー)から削除し、別の場所に置いてから、変換する前にdata_dst/alignedフォルダーにコピーして、スワップされた顔がそれらのぼやけた顔に対応するフレームに表示されるようにする必要があります。SRCデータセットとDSTデータセットの両方を可能な限り鮮明で高品質にする必要があります。いくつかのフレームのわずかなぼやけは、多くの問題を引き起こさないはずです。影に関しては、これは私たちが話している影の量に依存します。小さな明るい影はおそらく表示されません。顔の影で良い結果を得ることができますが、多くは悪いように見えます。できるだけシャープで暗い影をできるだけ少なくして、均等に。Q:ディープフェイクをmp4に変換してmp4に変換しようとすると、reference_fileが見つかりませんというエラーが表示されます。A:ワークスペースフォルダーにdata_dst.mp4ファイルがありません。元のdata_dst.mp4ファイルのサウンドも必要であるためです。Q:誤ってdata_dst.mp4ファイルを削除して復元できません。r(実行)を押してcmdを入力するか、windowsキーを押してcmd/cmd.exeを入力してから検索することでコマンドラインを開きますマージしたフォルダーのアドレスをコピーします(例:D:\DFL\workspace\data_dst\merged)コマンドラインにドライブの文字を入力します。result.mp4xxはフレームレートdは、ファイル名に含まれる数字の量を表す数字です。マージされたフレームの名前が15024.jpgの場合は5、5235.jpgの場合は4、などです。画像がpngの場合、.jpgを変更します。.pngcrfは品質設定です。20のままにしておくのが最適です。マージされたファイル名の前にout12345.jpgのような文字がある場合は、%記号の前に「out」を追加します。.mp4ファイルに変換するコマンドの例。Q:変換を一時停止し、後で再開できますか?変換設定を保存できますか?変換に失敗しました/変換中にエラーが発生し、%で止まりました。一度開始して、最後に正常に変換/マージされたフレームから変換できますか?A:はい。デフォルトでは、インタラクティブコンバーターは、進行状況と設定の両方を保存する「モデル」フォルダーにセッションファイルを作成します。トレーニングを一時停止する場合は、Enterキーを押して(変換の開始と同じ)、一時停止します。N)を選択した後-Yが表示されます保存/セッションファイルを使用して進行を再開するかどうかを確認するプロンプトが表示されると、コンバーターは適切な設定で適切なフレームに読み込まれます。変換が失敗し、進行状況が保存されなかった場合は、手動で再開する必要があります。最初にdata_dstフォルダーをバックアップし、次にdata_dst内の抽出されたすべてのフレームと、data_dst内のalignedおよびalignment_debugフォルダーからすべての画像を削除します(古いファイルをバックアップして、後で簡単に元に戻すことができるようにします)フォルダー内の既に変換/マージされたフレームに対応する「マージ」。通常どおり.mp4に変換します。Q:トレーニング中のプレビューの顔はきれいに見えますが、変換後は顔が悪く見えます。元の顔の一部(顎、眉毛、二重顔の輪郭)が見えます。A:プレビューの顔は、AIの生の出力であり、元の映像に合成する必要があります。そのため、顔の形状が異なる場合、またはわずかに小さい/大きい場合、DFLコンバーターが作成するマスクの周囲/外側に元の顔の一部が表示される場合があります。修正するには、変換設定を変更する必要があります。-マスクタイプの調整タイプについては、質問:どのマスクタイプを使用する必要がありますか?を参照してください。学んだ?Dst?ファンデスト?それとも他の何か?これらのマスクタイプは何を意味し、どのマスクタイプが最適ですか?顔の障害物(顔、手、指、その他のもの)をマスクする方法。注:負の侵食はマスクサイズを増加させ(より多くをカバー)、正は減少させます。Q:最終結果/ディープフェイクに奇妙なアーティファクトがあり、顔が色を変更し、背景から色がにじみ、シームレスモードを使用しているときに、ちらつき/暗く/角の色を変更します。A:シームレスモードを使用しています。代わりに:オーバーレイまたはシームレス以外のモードを使用します。「ぼかしマスク」を増やして、マスク/顔の端を滑らかにします色の変化の一部を隠す可能性のある値は、マスクサイズを小さくすると、「シームレス」に見えるようになります。絶対に必要な場合を除き、シームレスを使用しないことをお勧めします。その場合でも、すべての主要な角度とカメラのシフト/ライトの変更で停止して、アーティファクトが発生しないことを確認することをお勧めします。Q:SAEHDの使用を考えていますが、SAEHDはSAEより優れていますか?SAEHDはSAEよりも厳しいですか?A:ユーザーと私のテストの報告によると、SAEHDは、新しいトゥルーフェイスモード、顔の一般化のためのランダムワープ、ピクセル損失の方法の変更などの機能を作り直したため、SAEよりも優れたモデルのようです。新しいピクセル損失がSAEHDモデルにどのように機能するかを説明しました:「コードを見て、「ハイブリッド」ピクセル損失値がオンになっていることを確認できます。SAEはオフの場合DSSIM(画像構造類似性)を使用し、オンの場合は単純なピクセル差を使用します。/bl...el.py#L423違いを説明するために、通常のSAEでは、ピクセル損失がオフの場合、2つの画像の構造的な違いを調べ、ピクセル損失がオンの場合、画像の違いを調べます。後者は詳細を可能にしますが、最初は少し混乱し、モデルが不安定になり、モードが崩壊する可能性があります(そのため、トレーニングの最後にオンにすることをお勧めしていました)。SAEHDの場合、両方を使用します。DSSIMの値とピクセルの差を合計しますが、ピクセル損失は以前の5分の1しか重み付けしません。ピクセル損失値は、オフの場合よりも常に小さいことに気づいたかもしれません。これはモデルの初期段階であり、DSSIMに依存していることを意味します。損失が減少すると、ますますピクセル損失に移行します。SAEHDを実行できれば、はるかに低いバッチレートでも、SAEを使用する理由はもうありません。SAEHDは、トレーニングをより効率的にする構造的な改善と最適化に満ちています。SAEをトレーニングする唯一の理由は、古いモデルとのレガシー/後方互換性です。HD、解像度160、オプティマイザーモード3、グラデーションクリッピングは最初から有効になっています。変更されている設定:ランダムワープ、トゥルーフェイス、学習マスク。すべてのテストは同一の条件下で実行され、他のプログラムはバックグラウンドで実行されず、常に新しいモデル、同じデータセットで開始されます。DFLバージョンは、最新のコミットを含む最新の安定版リリースです。Github(e013cb0f6baff3e52c61e2612a95afe69d44a941)。OOM、次に2900ms。テスト2-すべて有効:ランダムワープ有効、トゥルーフェイス有効、学習マスク有効:OOM、起動に失敗します。ONLY:ランダムワープが無効、トゥルーフェイスが有効、学習済みマスクが無効:OOM、起動に失敗。TRUEFACE:ランダムワープが有効、トゥルーフェイスが有効、学習済みマスクが無効:OOM、開始に失敗テスト7-ランダムワープ+学習済みマスク:ランダムワープが有効、トゥルーフェイスが無効、学習済みマスクが有効:OOM、開始に失敗しました学習済みマスクで実際の顔をテストしません。resでトレーニングする必要があります。不安定であるため、まったく機能しなかった場合と同じです。真の顔にはVRAM使用量がさらに多くなければならないため、開始されません。ランダムワープにはパフォーマンスのペナルティはほとんどないようです。少なくとも、VRAMの使用に関してはあまり見ることができません。1〜2%遅いトレーニング(エラーのマージン)が良いニュースです。GPUではこれらのすべての機能を実行することはできません。少なくともこの解像度とバッチサイズ6ではできません。学習したマスクはそれほど重要ではなく、他の機能と同じようにしばらくの間常に有効にすることができます。FACE:ランダムワープが有効、トゥルーフェイスが有効、学習マスクが無効:OOMなし、2800msテスト9-ランダムワープのみ:ランダムワープが有効、トゥルーフェイスが無効、学習済みマスクが無効:OOMなし、2450msテスト10-トゥルーフェイスのみ:ランダムワープが無効、トゥルーフェイスが有効、学習済みマスクが無効:OOMなし、2750msテスト11-すべて無効:ランダムワープが無効、トゥルーフェイスが無効、学習済みマスクが無効:OOMなし、2450ミリ秒(ランダムワープが有効の場合と同じ)テスト12-すべて無効バッチサイズが大きい-8:OOM、起動に失敗ランダムワープは反復ごとに50ミリ秒、エラーマージンのみを追加するように見えます。無効になっているものはすべてランダムワープのみと同じパフォーマンスを持ちます。GPUの最大バッチサイズは、ランダムワープ+トゥルーフェイスの144に対して6、ランダムワープのみの160に対しては6のように見えます。グラデーションクリッピングが有効、その他すべてのオプション(トゥルーフェイス、ランダムワープ、学習マスク、スタイルパワー、フェイスフリップなど)が無効:注:CAの重みとピクセル損失の設定はSAEHDで使用できません。CAの重みは新しいSAEHDモデルを開始するときに常に読み込まれ、ピクセルの損失が削除されるか、何らかの変更が加えられたため、デフォルトで有効になっていると仮定しています。テスト13-バッチサイズ12、SAEHD:OOM、起動に失敗-これらの設定は通常のSAEモデルでは問題なく実行されるため、実際にはもっと厳しいようです。テスト14-バッチサイズ10、SAEHD:OOMなし、2550ミリ秒ですが、不安定でクラッシュします。AVX:OOMなし、2100ms。SSE:OOMなし、2100ms。GPU(テンソルコアなし)のAVXと9.2バージョンのDFLのSSEバージョンのパフォーマンスに実質的に違いがなく、SAEHDが実際には同じ設定でも通常のSAEよりも要求が低いことが確認されました値は暗くなりますが、その後、CAの重みおよびその他の側面に変更があります(CAの重みまたはピクセル損失設定にアクセスできません)。