(TecoGAN)画像超解像技術は、既存の画像情報から欠けている画像詳細を再構成することによって、低解像度画像から高解像度画像を生成するプロセスを指します。画像と比べて、ビデオ超解像技術はより複雑です。詳細なフレーム画像生成を必要とするだけでなく、さらに、画像間の動きの一貫性も維持する必要があるからです。新しく発表された論文では、これらを考慮したビデオ超解像のための新しいモデル「TecoGAN」が提案されています。次のアニメーションはTecoGANを使用して生成されたものです。細部まで綺麗に生成することができ、さらに時間的にも一致しています。通常ビデオはズームすると画質が劣化しますが、TecoGANを用いることで画質を落とさずに拡大することができますビデオの場合、任意の超解像フレームを生成するだけではなく、より長いシーケンスにわたって動きが一致している必要があります。論文では、空間的な高周波の詳細と時間的な関係の両方を考慮するGANに基づいたアイデアを採用し、フレーム間の動きを一致させています。Generatorフロー推定ネットワーク付きジェネレータジェネレータGは、低解像度の入力から高解像度のビデオフレームを繰り返し生成するために使用されます。ジェネレーターGは通常の生成器にフロー推定ネットワークFを組み合わせたものです。このネットワークに、フロー(動き)と元の低解像フレーム入力すると新しい超解像フレームが生成されます。ここにおけるフロー(動き)とは、映像をズームした時、またはズームアウトした時の間の動きのことを指します。この動きを推定するネットワークをフロー推定ネットワークFとします。フロー推定ネットワークFは通常のフレームxt-1とズームした時のフレームxtの間の動きを推定するように訓練されます。生成器は、一貫性のあるフレームを生成するために、一つ前に生成したデータを再利用するシステムを採用し、以前に生成した高解像度フレームgt-1から高解像度フレームgtを生成します。フロー推定ネットワークFと生成器をくっつけ、識別器をだますように一緒に訓練していきます。生成された3つの時間的に隣接した高画質フレームGと(正確にはGにワープをかけた高画質フレームも含まれる)3つの正解フレームYを識別機にかけます。3つの時間的に隣接したズーム低画質フレームXを条件として入力します。識別器はもしGがYと比較して、動きが厳密でなかったり、非現実的なフレーム(ありえない数値であった場合)であった場合、減点対象として生成器にフィードバックし学習させます。一貫したフレームを生成するために双方向損失関数を採用しています。生成されたフレームシーケンスgtに対して、逆方向から再生したシーケンスをgt‘とし、これらフレームが重なり合うように、フレーム間の誤差を損失関数とし最小化させていくアイデアです。生成された超解像フレームです。動物の皮の網目構造、トカゲの模様、クモの後ろの斑点まですべてが綺麗に復元できており、さらに時間的なズレもなく一貫したフレームが生成されています。詳しい結果は以下の動画で確認できます。関連リンクhttps://github.com/thunil/TecoGANこの記事をシェアするLINE記事の内容等について改善箇所などございましたら、お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。6芸術的な画像と文字の自動合成を可能にする新たなGANGANは著しい発展を遂げています。1建築デザインとAI。Dee...モデルの脆弱性・様々な精度はデータセットの「粒度」でわ...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...Googleが公開した自然言語処理の最新技術、BERT...AI×絵師!彩ちゃんの裏側!...BERTはまだまだ進化する!軽くて強いALBERTが登...MuZeroの衝撃。囲碁のルールを自ら学習しAlpha...深層学習×マルチモーダル。Dee...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...モデルの脆弱性・様々な精度はデータセットの「粒度」でわ...AI×絵師!彩ちゃんの裏側!...Googleが公開した自然言語処理の最新技術、BERT...単語の挿入と削除を用いた新時代の文生成手法が登場...メタ学習の欠点を克服?教師なし学習とメタ学習を組み合わ...MuZeroの衝撃。Dee...MuZeroの衝撃。お取り扱いについて株式会社wevnal(以下「当社」といいます。)は、AI-SCHOLAR(以下「本サイト」といいます。)をご利用になる方(以下「ユーザー」といいます。)を遵守すると共に、以下のプライバシーポリシー(以下「本プライバシーポリシー」といいます。)に従い、適切に取り扱うものとします。本プライバシーポリシーにおいて、個人情報とは、生存する個人に関する情報であって、当該情報に含まれる氏名、生年月日その他の記述等により特定の個人を識別することができるもの(他の情報と容易に照合することができ、それにより特定の個人を識別することができることとなるものを含みます。)を意味するものとします。当社は、ユーザーの個人情報を、以下の目的で利用いたします。当社は、ユーザーの同意を得て、以下の提供先に、以下の提供情報内容を以下の手段又は方法で提供することがあります。(1)提供先について登録ユーザーが本サイトにおいて資料の請求、閲覧もしくはダウンロードする場合、その資料の提供元である本サイト掲載企業(当該提供元企業から委託を受けた者を含みます。所属企業ではなく、企業に所属する個人が提供元である場合もあります。)に、以下の情報が提供されます。電磁的な方法による送信また、次に掲げる場合は、関係法令に反しない範囲で、ユーザーの同意なく個人情報を第三者に提供することがあります。一部または全部を外部委託することがあります。委託先における個人情報の取扱いについては当社が責任を負います。当社は、個人を特定できないよう加工した統計データを作成することがあります。当社は、統計データを何ら制限なく利用することができるものとします。して、ユーザーご本人に限り、個人情報の開示、訂正、追加または削除、利用停止、ならびに第三者への提供の停止(以下「個人情報の開示等」といいます)を求めることができるものとします。以下の場合は個人情報の変更等に応じないことがあります。他の法令に違反することとなる場合また、当該個人情報の変更等に多額の費用を要する場合、その他の、個人情報の開示等を行うことが困難な場合であって、ユーザーの権利・利益を保護するため必要なこれに代わるべき措置をとるときは、個人情報の変更等に応じないことがあります。当社サービスは、Cookie及びこれに類する技術を利用することがあります。これらの技術は、当社による当社サービスの利用状況等の把握に役立ち、サービス向上に資するものです。Cookieを無効化されたいユーザーは、ウェブブラウザの設定を変更することによりCookieを無効化することができます。Cookieを無効化すると、当社サービスの一部の機能をご利用いただけなくなる場合があります。当社は、法令等の定めがある場合を除き、必要に応じて、本プライバシーポリシーを変更することができるものとします。プライバシーマークに関して当社は、プライバシーマークの認証を取得しています。パスワードをお忘れの。