Simulations画画像から”スタイル”を抜き出し別の画像に合成する”スタイル変換”の技術は、AIの得意分野の一つですこれまでにも人工知能を用いた画像認識やスタイル変換は様々試みられてきました。その中でも、この論文では”流体”のスタイル変換に取り組んでいます。”流体”における特徴量抽出では様々な最適化が行われてきましたが、そのほとんどは手計算のハイパーパラメータも多く計算量は膨大になりがちでした。そのため、”流体”のコントロールは依然として課題と言えます。今回紹介する手法では、”流体の画像”をベクトル表現を用いて鮮やかに特徴抽出し、他の画像にそのパターンを合成することを目標とします。このスタイル変換アルゴリズムを用いれば、例えば、ウサギの絵をまるで煙で描かれているように変換することが可能になります。流体画像の鮮やかな表現とコントロール従来の方法と異なる点として以下の2つの点があります。流体画像の連続的な特徴を再現する速度場のベクトル表現(2)パターン合成の曖昧さの双方向へのコントロール(1)は、これまでのCNN画像認識モデルの多くが特徴量抽出や勾配計算に関数(スカラー)を用いていたのに対し、本モデルは画像の鮮やかさの表現にベクトルを採用し、速度場の考え方(grad,div,rotといったベクトル解析の知識など)を利用することでな体の鮮やかな特徴抽出を実現しています。(2)に関しては元となる画像の原型を、合成の際にどこまで保つかの曖昧さ(ボカシ具合)をコントローラブルにします。CNNの層の深さを変更することでこれら調整を実現します。流体のデータが少ないため、学習段階においては画像分類作業のCNNから転移学習させたモデルを用いています。転移学習とは?転移学習とは、他実験で大規模データを事前学習したモデルの重みを用いて、似た特徴データを取り扱う実験を少ないデータ数で学習する手法のことを言います。これにより、モデルは実験に必要なデータが足りない場合でも、十分な精度で学習することができます。具体的には、入力層から出力層にかけて抽出する特徴は細かくなっていのだから、大まかな特徴表現の学習を他データによる学習で済ませてしまおう、ということになります。今回は、煙からの特徴抽出に加え、その特徴パターンと画像の合成アルゴリズムは転移学習されたCNNを使用します。(iii)既存モデルとの比較の3つの評価で行っています。(i)画像と”スタイル”の合成インプットをキノコ型の煙と、兎の画像としました。加えて各スタイルを入力し、特徴量を抽出することで認識されたパターンを画像と合成させます。上記画像の結果から、一目見てわかるクオリティで各画像がスタイルを取り入れ、特徴を表していることがわかります。(ii)曖昧さのコントロールによる比較(i)と同様の入力画像に対して、CNNの深さを変えることにより、合成の曖昧さを変更することができます。画像1と画像2を比較すると、わずかながら2の方が各入力画像の原型を保っていることがわかります。(特にうさぎ)この実験では、異なるスタイルではなく同条件において、曖昧さのみを差別化し比較実験を行うことができれば、より明確な結果が得られた気がします。(iiI)既存モデルとの比較あるモチーフに対し、毛皮のスタイルの合成を行いました。左から順に、元画像、既存モデルによる合成画像、最新(今回)モデルによる合成画像となります。最新モデルは、既存モデルに比べて入力画像の形状をより詳しく再現しており、かつ毛皮のスタイルを細かく表現していることがわかります。定量的な分析に置いても、既存のシュミレーションの解像192×256×192と比較し、最新のモデルのシュミレーションでは200×300×200と各方向成分において確実に解像度を上昇させることができました。まとめ煙などの”流体”からイメージを取り出し、別画像との合成を行う新たなスタイル変換モデルを紹介しました。膨大な量の流体的モチーフからモデルを用いて特徴量を抽出し、自動的に具体化することを可能にしています。このスタイル変換は1,600,000ボクセルまでの高解像度でシミュレーションを行うことができます。本モデルは流体の”パターン認識”は可能ですが、色の識別などは行なっていないため今後は色の状態も抽出して合成を行う機能の研究も行うと面白いのではないでしょうか。芸術的な画像と文字の自動合成を可能にする新たなGAN)との組み合わせにより実現可能性がある気がします。この記事をシェアするLINE記事の内容等について改善箇所などございましたら、お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。2順序付きニューロン。ツリー構造のリカレントニューラルネットワ...ICLR2019が開催されました。お取り扱いについて株式会社wevnal(以下「当社」といいます。)は、AI-SCHOLAR(以下「本サイト」といいます。)をご利用になる方(以下「ユーザー」といいます。)を遵守すると共に、以下のプライバシーポリシー(以下「本プライバシーポリシー」といいます。)に従い、適切に取り扱うものとします。本プライバシーポリシーにおいて、個人情報とは、生存する個人に関する情報であって、当該情報に含まれる氏名、生年月日その他の記述等により特定の個人を識別することができるもの(他の情報と容易に照合することができ、それにより特定の個人を識別することができることとなるものを含みます。)を意味するものとします。当社は、ユーザーの個人情報を、以下の目的で利用いたします。当社は、ユーザーの同意を得て、以下の提供先に、以下の提供情報内容を以下の手段又は方法で提供することがあります。(1)提供先について登録ユーザーが本サイトにおいて資料の請求、閲覧もしくはダウンロードする場合、その資料の提供元である本サイト掲載企業(当該提供元企業から委託を受けた者を含みます。所属企業ではなく、企業に所属する個人が提供元である場合もあります。)に、以下の情報が提供されます。電磁的な方法による送信また、次に掲げる場合は、関係法令に反しない範囲で、ユーザーの同意なく個人情報を第三者に提供することがあります。一部または全部を外部委託することがあります。委託先における個人情報の取扱いについては当社が責任を負います。当社は、個人を特定できないよう加工した統計データを作成することがあります。当社は、統計データを何ら制限なく利用することができるものとします。して、ユーザーご本人に限り、個人情報の開示、訂正、追加または削除、利用停止、ならびに第三者への提供の停止(以下「個人情報の開示等」といいます)を求めることができるものとします。以下の場合は個人情報の変更等に応じないことがあります。他の法令に違反することとなる場合また、当該個人情報の変更等に多額の費用を要する場合、その他の、個人情報の開示等を行うことが困難な場合であって、ユーザーの権利・利益を保護するため必要なこれに代わるべき措置をとるときは、個人情報の変更等に応じないことがあります。当社サービスは、Cookie及びこれに類する技術を利用することがあります。これらの技術は、当社による当社サービスの利用状況等の把握に役立ち、サービス向上に資するものです。Cookieを無効化されたいユーザーは、ウェブブラウザの設定を変更することによりCookieを無効化することができます。Cookieを無効化すると、当社サービスの一部の機能をご利用いただけなくなる場合があります。当社は、法令等の定めがある場合を除き、必要に応じて、本プライバシーポリシーを変更することができるものとします。プライバシーマークに関して当社は、プライバシーマークの認証を取得しています。パスワードをお忘れの。