ろ、真上、真下ちょっと変わったタイトルですが、音の定位について考えてみます。バイノーラル録音バイノーラル録音という技術で、ヘッドフォンで音を空間配置することができます。録音時にダミーヘッドや、実際の人間のイヤホンの位置にマイクを設置することで、耳へ到達する音の微妙の差異をそのまま録音してしまう方法です。音を定位させる技術のオブジェクトオーディオADX2ではPS4のPSVRなどでオブジェクトオーディオに対応しています。オブジェクトオーディオ(*1)も基本的には、左右の耳の分のIR(インパルスレスポンス)の角度分用意する形になります。Audio人間の耳は左右、フクロウは?人間は左右に耳をもっているので、左右の違いはとても敏感ですが、前後や上下は鈍感です。これは、左右に到達するIRが同距離になってしまう特殊な位置が存在します。フクロウのように、耳の位置がちょっとずれているとかあると、縦方向も敏感に進化できたかもしれません。定点観測での音の技術はAmbisonics(アンビソニックス)もし宇宙のどこかの生物で耳が4つもあれば、(もしかすると地球にもいるかもですが)全方向の音を同時に把握することができます。Ambisonicsのマイクなど4つの方向、さらにはもっと多くのマイクの向きをもたせて、計算で再生させる技術もあります。Sofdec2」で再生が可能です。位置に突然音を発音させても、違いははっきりしないでしょう。そこで、AISACや、フィルターなどで、少し強調したりすることで、より、「真正面らしさ」や「後ろらしさ」、「上らしさ」など音に変化をつけると良いです。ADX2ではリスナー基準AISACと呼ばれる、マイクの向きと音源位置の変化によってAISACが自動で変わる3D表現ができます。「らしさ」の部分は、今の所答えはありません。(個人向けバイノーラルやIRの技術が進むのを待つばかり)ヘッドトラッキング耳は左右にしかついていませんが、リアルタイムで音の位置を変更、頭の動きと連動させることで、より音の位置を明確にするといったことができます。同時に把握することは難しくても、ヒストリカル(時系列)を伴った情報により、脳が、「きっとここから鳴っている」と考えられるようになることが期待できます。画面効果を音に合わせるまた、正面の音か、後ろの音かは、画面にオブジェクトがあるか、音が鳴ったということをわかる動作をしているか(リップシンクを正確に行うなど)さまざまな要因で、脳が錯覚を起こすので、音以外の情報で補助するのも有効です。Cripper」という音声データから口パクデータを生成する技術がありゲームなどのコンテンツで採用されています。2Dの口パクだとしてもリップシンクが行われているか否かで、音がどこに定位するか脳は勘違いを起こします。口を見ていると口の位置から音が鳴っていると錯覚します。左右のボリュームが同じだとしてもです。実際、映画など5.1chコンテンツなどでは、センタースピーカーをダイアログ(セリフ)専用にすることで、音の混ざりを軽減することで、音場のデザインが行われています。ADX2では、センタースピーカー出力など簡単に設定ができます。波形をリアルタイムにチェックするまた、ADX2ではフィルターコールバックなどで、再生中の波形情報を取得して画面エフェクトに応用したりといったことが簡単にできます。これを応用すると、音が鳴っているオブジェクトを少し揺らしたり、といった簡単なエフェクトで、あたかもそこから音が鳴っているように錯覚できます。左右の音量が同じだとしてもです。サウンドのデザインはとても奥が深いのです画面効果とかまでになると実はサウンドだけの話ではなく、ゲームの演出やデザインにも話が波及します。多くの方とサウンドの表現を共有し、できる限り簡単な方法で実装ができることが望まれます。ADX2では、シーケンスコールバックというデータを音のタイムラインに置くことで、プログラム上で簡単に音と同期する仕掛けを作ることができます。任意楽曲のほぼリアルタイムの音楽解析に特化したBEATWIZや、様々な音響抽出技術もあります。