そうめんをラーメンに錯覚させるARとGANを組み合わせたリアルタイム味覚操作システムを発表。そうめんをラーメンに錯覚させるARとGANを組み合わせたリアルタイム味覚操作システムを発表。network)を用いたリアルタイム味覚操作システムを発表しました。Tokyo本論文は、GANを用いて、実際の食品をリアルタイムに違う食品画像へ変換することで、味覚を操作するインタフェースを提案します。本提案は、食品の外観(色やテクスチャ)をリアルタイムに変換することで、視覚的に味覚をコントロールするアプローチを採用します。Pro)のフロントカメラからRGB画像を取得するところから始め、それをサーバに送信します。サーバでは取得した画像の中心を切り取り、それを別の食品画像に変換します。イメージ変換後、現実の映像にイメージ変換処理した画像を重畳します。食品から食品への画像変換には、StarGANベースのネットワークを用いてリアルタイムに実行されます。そのため、元の食品の変形に応じて動的かつインタラクティブに適用され、また、元の食品の視覚的特徴をある程度保ちながら調整されるため、変換後の錯覚をより自然に行うことを可能にします。麺の場合、そうめんをラーメンだけでなく、焼きそば等の他の麺類に適応できる複数変換としての特徴も持ち合わせています。ネットワークを訓練するために、5つの食品カテゴリ(ラーメン、焼きそば、白ご飯、カレーライス、チャーハン)で149,370の食品画像のデータセットを作成しました。デモ映像では、そうめんをラーメンや焼きそばに変換したり、白ご飯をカレーライスやチャーハンに変換したり、実際に食べている食品とは違う食品を食べているかのような味覚の錯覚を体験している様子がわかります。Reserved.ページ上部へ戻る。