(月)こんにちは、インフォコム技術企画室のがねこです。前回は3Dサウンドを配信するための自作ガジェットと、処理の仕組みを紹介しました。今回は3Dサウンドを受信して、それをVR映像と合わせて再生するまでの流れをご紹介します。複数音声の受信まずWebRTCの通信を行うPeerConnectionを経由して、ステレオ音声×4を受け取ります。残念ながら順不同(※もしかしたらルールがあるかもしれません)なので、人が聞きながらどの位置の音なのかを対応づけます。各<audio>タグが、前後左右の音に対応しています。4つのステレオサウンドの配置調整4つのaudioタグの一つだけを鳴らしながら、それがどの位置の音を人間が聞き分けて、画面上でドラッグ&ドロップして並べ替えます。本当はこのような職人芸は不要にしたかったのですが、今回は間に合いませんでした。Riftのヘッドトラキングを利用して人の顔の向きを取得し、向きに応じて各<audio>タグの音量を動的に調整します。前後の場合は、対応する<audio>タグを1つだけ鳴らします。同様に左右の場合も、対応する<audio>タグを1つだけ鳴らします。斜めの場合(つまり、ほとんどの場合)は、対応する2つの<audio>タグの音量を調整して鳴らします。実際の処理は次のようになっています。こちらもメンバーのtokさんが考案、実装してくれました。}}こうすることで、見ている映像と違和感のない3Dサウンドを視聴者に体験させることができます。WebVR機能を追加したビルドを利用する必要があります。今回利用したのはこちらになります。WebRTCパビリオンに展示します。Interopに併設されるイベントですので、お越しの際にはぜひ体験してみてください。お待ちしています!(自作の風鈴連続鳴らし器。(月)こんにちは、インフォコム技術企画室のがねこです。前回は3Dサウンドを配信するための自作ガジェットと、処理の仕組みを紹介しました。今回は3Dサウンドを受信して、それをVR映像と合わせて再生するまでの流れをご紹介します。複数音声の受信まずWebRTCの通信を行うPeerConnectionを経由して、ステレオ音声×4を受け取ります。残念ながら順不同(※もしかしたらルールがあるかもしれません)なので、人が聞きながらどの位置の音なのかを対応づけます。各<audio>タグが、前後左右の音に対応しています。4つのステレオサウンドの配置調整4つのaudioタグの一つだけを鳴らしながら、それがどの位置の音を人間が聞き分けて、画面上でドラッグ&ドロップして並べ替えます。本当はこのような職人芸は不要にしたかったのですが、今回は間に合いませんでした。Riftのヘッドトラキングを利用して人の顔の向きを取得し、向きに応じて各<audio>タグの音量を動的に調整します。前後の場合は、対応する<audio>タグを1つだけ鳴らします。同様に左右の場合も、対応する<audio>タグを1つだけ鳴らします。斜めの場合(つまり、ほとんどの場合)は、対応する2つの<audio>タグの音量を調整して鳴らします。実際の処理は次のようになっています。こちらもメンバーのtokさんが考案、実装してくれました。}}こうすることで、見ている映像と違和感のない3Dサウンドを視聴者に体験させることができます。WebVR機能を追加したビルドを利用する必要があります。今回利用したのはこちらになります。WebRTCパビリオンに展示します。Interopに併設されるイベントですので、お越しの際にはぜひ体験してみてください。お待ちしています!(自作の風鈴連続鳴らし器。