FeaturesLINKgithubarXivプロジェクトサイト動画の音と映像の関係に着目し、動画内の音源の位置の特定や、画面の中で鳴っている音(=音源が映っている音)と画面の外側で鳴っている音を分離したりといったタスクをこなす研究。学習には、音のみを意図的に数秒ずらした動画とずらしていない動画を用意し、音がずらされているかどうか(=音と画像の同期が取れているかどうか)を識別するように学習を行います。著者らは次の三つのタスクに学習したモデルを利用しています。githubに上がっているので実際に試してみました。鼻のあたりが選択されているのがわかるかと思います。http://createwith.ai/wp-content/uploads/2018/05/bg_cam_nantes.mov.mp4音と動画の関係を学習するモデルは、動画を扱う3次元のCNNと波形を扱う一次元のCNNの二つから構成されています。学習にはAudioSetの750000の動画を利用しました。画面内と外の音源の分離には、pix2pixなどでも使われているU-netのアーキテクチャに基づいたencoder-decoderのアーキテクチャを使っています。encoderのアウトプットに、上で挙げた音と動画が同期しているかを識別するモデルのアウトプットを連結することで、同期関係の情報をdecoderに与えています。いった関連研究が複数発表されています。これまで別々に扱うことが多かった音と映像を同時に扱うことで、いままでできなかった様々なタスクがこなせることがわかって来ています。今後もこの分野はまだまだ面白い動きがありそうですね。learningvaevideowavenetwebwebglwebsite。