意味的な構造を捉えるスタイル変換ニューラルネットワークを用いたスタイル変換の手法の多くは、画像の特徴量マップの大域的な特徴量を用いて実現されています。AdaINという手法においては、コンテンツ画像の、特徴量マップのチャンネルごとの平均と分散を、スタイル画像のそれと合わせ、それをデコードすることで実現されてきました。AdaINに代表されるような特徴量マップのチャンネルごとの統計量を用いた画像変換は、画像内の意味的な構造を捉えることは出来ていません。特徴量マップの大域的な特徴量を用いているため、画像内のどこにどのような物体があるか、という情報を無視してしまっています。これが原因となり、画像内の背景部分に対しても、物体に対しても全く同じような変換が行われてしまうなど、より良い変換を実現できなくなってしまう可能性があります。実際の例を見てみます。上の画像のうち、一番左の画像が、変換のために使われるスタイル画像とコンテンツ画像です。AdaINなどの大域的な統計量を用いた手法は、木と背景が同じように変換されてしまうため、木のコンテンツとしての情報が失われてしまっていることがわかります。今回紹介する手法は、画像内の特徴量マップには複数のスタイルのクラスタが存在すると仮定し、そのクラスタごとに統計量を正規化することで、画像の意味的な構造を捉えながらスタイル変換を実現する手法です。特徴量のクラスタリングそこで、今回の手法では、スタイル画像の特徴量のパッチをクラスタリングし、コンテンツ画像をそれぞれのクラスタに割り当て、クラスタ毎に統計量を正規化することで、意味的な構造を捉えることを試みます。スタイル画像の特徴量マップをクラスタリングし、それをコンテンツ画像に適用するために、エネルギー関数を定義し、そのエネルギー関数を最小化するようにクラスタの割り当てを行います。このエネルギー関数はデータ項と平滑化項に分けられ、この二つの最小化することを目指します。グラフカットを用いたスタイル変換のアーキテクチャ続きを読むこの記事をシェアするLINE記事の内容等について改善箇所などございましたら、お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。機械学習の研究をしています。2DL論文から自動的にソースコードを生成。Dee...モデルの脆弱性・様々な精度はデータセットの「粒度」でわ...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...Googleが公開した自然言語処理の最新技術、BERT...AI×絵師!彩ちゃんの裏側!...BERTはまだまだ進化する!軽くて強いALBERTが登...MuZeroの衝撃。囲碁のルールを自ら学習しAlpha...深層学習×マルチモーダル。Dee...低解像度ビデオもすぐに高解像度に変換できる超解像アルゴ...モデルの脆弱性・様々な精度はデータセットの「粒度」でわ...AI×絵師!彩ちゃんの裏側!...Googleが公開した自然言語処理の最新技術、BERT...単語の挿入と削除を用いた新時代の文生成手法が登場...メタ学習の欠点を克服?教師なし学習とメタ学習を組み合わ...MuZeroの衝撃。Dee...MuZeroの衝撃。お取り扱いについて株式会社wevnal(以下「当社」といいます。)は、AI-SCHOLAR(以下「本サイト」といいます。)をご利用になる方(以下「ユーザー」といいます。)を遵守すると共に、以下のプライバシーポリシー(以下「本プライバシーポリシー」といいます。)に従い、適切に取り扱うものとします。本プライバシーポリシーにおいて、個人情報とは、生存する個人に関する情報であって、当該情報に含まれる氏名、生年月日その他の記述等により特定の個人を識別することができるもの(他の情報と容易に照合することができ、それにより特定の個人を識別することができることとなるものを含みます。)を意味するものとします。当社は、ユーザーの個人情報を、以下の目的で利用いたします。当社は、ユーザーの同意を得て、以下の提供先に、以下の提供情報内容を以下の手段又は方法で提供することがあります。(1)提供先について登録ユーザーが本サイトにおいて資料の請求、閲覧もしくはダウンロードする場合、その資料の提供元である本サイト掲載企業(当該提供元企業から委託を受けた者を含みます。所属企業ではなく、企業に所属する個人が提供元である場合もあります。)に、以下の情報が提供されます。電磁的な方法による送信また、次に掲げる場合は、関係法令に反しない範囲で、ユーザーの同意なく個人情報を第三者に提供することがあります。一部または全部を外部委託することがあります。委託先における個人情報の取扱いについては当社が責任を負います。当社は、個人を特定できないよう加工した統計データを作成することがあります。当社は、統計データを何ら制限なく利用することができるものとします。して、ユーザーご本人に限り、個人情報の開示、訂正、追加または削除、利用停止、ならびに第三者への提供の停止(以下「個人情報の開示等」といいます)を求めることができるものとします。以下の場合は個人情報の変更等に応じないことがあります。他の法令に違反することとなる場合また、当該個人情報の変更等に多額の費用を要する場合、その他の、個人情報の開示等を行うことが困難な場合であって、ユーザーの権利・利益を保護するため必要なこれに代わるべき措置をとるときは、個人情報の変更等に応じないことがあります。当社サービスは、Cookie及びこれに類する技術を利用することがあります。これらの技術は、当社による当社サービスの利用状況等の把握に役立ち、サービス向上に資するものです。Cookieを無効化されたいユーザーは、ウェブブラウザの設定を変更することによりCookieを無効化することができます。Cookieを無効化すると、当社サービスの一部の機能をご利用いただけなくなる場合があります。当社は、法令等の定めがある場合を除き、必要に応じて、本プライバシーポリシーを変更することができるものとします。プライバシーマークに関して当社は、プライバシーマークの認証を取得しています。パスワードをお忘れの。