SCを組み合わせ、360度動画に音も追従するミュージックPVを作ってみた!5312261118昨年の楽器フェアで見かけて使ってみたい......と思っていたZOOMの変わった形のレコーダー、H3-VR(実売価格35,000円前後)。これは360度で音をレコーディングできるというVRマイクを搭載したハンディータイプのリニアPCMレコーダーです。SCと組み合わせてミュージックPVの動画撮影をしてみました。その動画撮影に協力してくれたのは、これまで何度かDTMステーションにも登場しているTRANCE系アイドルグループのd-girls。いつもDTMステーションPlus!の番組放送に使わせていただいている音楽学校メーザーハウスのリハーサルスタジオをお借りし撮影してみました。できあがったものを見てみると、まさに360度グリグリと回しながら楽しめるこれまでにあまり見たことのないミュージックPVとなりました。映像が回るだけでなく、それに音も一緒についてくる立体的なサウンドを楽しめる動画になっているのです。実際、何をどうやって作ったのか、その手法について紹介してみましょう。A1(728x90)伸縮サイズまずはともあれ、作成してみた360度のミュージックPV、d-girlsの「stream」をYouTubeにUPしてみたので、ご覧ください。いかがですか?YouTube画面を動かすと360度映像が回り、音もそれについてくるのが分かると思います。ステレオのスピーカーでも分かりますが、ヘッドホンを使ったほうがよりリアルに空間を感じられると思います。衣装時の撮影し忘れ、着替え後の貴重な(?)記念撮影(汗)、左から霞さん、由奈さん、よしみさん、千花さん、めいさんd-girlsのメンバーは、杉本よしみ(@yoshimi_1106)さん、瀬戸千花(@seto_chika)さん、斉東由奈(@saito_yuna)さん、こだま霞(@kdm_kasumi)さん、百瀬めい(@_momose33)さんの5名ですが、ビデオを見てもわかる通り、ここで歌っているのは、よしみさんと千花さんの二人。リバーブも一切かけず、そのままの生声・生歌をVR-H3のマイクで拾っているんですよね。回してみると、二人の歌声の位置が映像に追従する形で変わっていくのがよく分かると思います。H3-VRのマイクでボーカルもPAから鳴るオケも直接レコーディングバックに流れている、このオケはPAから出しており、2つあるステレオの黒いスピーカーから鳴っているのが感じられるでしょう。その音をそのままH3-VRで録っているわけです。d-girlsの楽曲の中では、比較的静かで動きの少ない曲を選んでもらったのですが、それでも足音が少し入っているのも分かりますよね。4方向に向くマイクで音を立体的に捉えているまた何度かリハーサルをしていて分かったのは、マイクやカメラに近い距離で歌って、踊ってもらったほうが、よりリアルに捉えられるという点。するとスカートの動きから発生する風圧でマイクにノイズが乗ってしまうため、屋内でのレコーディングではありましたが、H3-VRに付属のウィンドスクリーンを被せての録音となりました。SCはH3-VRに合わせて、昨年末に22,000円で購入したもの。Xなどもあったのですが、初めての実験でもあったので、一番手ごろなものを購入。結果的には、やや画質が落ちるな...という面はありましたが、これでも十分その雰囲気は伝わりますよね。SC、デフォルトでの撮影時間が5分となっていて撮影スタート後、5分で止まってしまうのです。設定を変更すればもっと長時間撮影できたのですが、後の祭り。d-girlsのみなさんには、フルコーラスで歌って、踊ってもらったのですが、やむなく最後のほうをフェードアウトして終わらせています。360度の動画ということなので、同じセッティングでd-girlsのみなさんに自己紹介などもしてもらったので、こちらの動画もご覧ください。トークだと、さらに音の立体感がありますよね。喋っている人をグルグルと追ってしまいますが、それ以外のメンバーがどう反応しているのかを見るのもちょっと面白いところ。このシステム、お気に入り一人を追いかけることができるわけだし、まさにアイドルグループの撮影用にはピッタリな気がしますね。具体的に何をどうしているのかを解説していきましょう。このH3-VRという機材は4つの方向を向くマイクで360度からの音を捉えるAmbisonicsマイクと呼ばれるもの。この4つのマイクで捉えた音を44.1kHz/16bit~96kHz/24bitのリニアPCM=WAVで録音することができるようになっています。ここでは48kHz/24bitを選択してみたのですが、その録音モードが5種類用意されているのが、最初ちょっと難しいところ。Aステレオバイノーラルのそれぞれ。普通のステレオサウンドで録音するなら「ステレオ」、ステレオでありながらも、ヘッドホンで聴くと立体的に感じられるのが「バイノーラル」ですが、残り3つは、後で360度グリグリ動かしたり、定位を調整することができるモード。どれを選んでもいいのですが、ここでは最近のシステムでもっともよく利用されているAmbiXを選択しました。SCが上向きになって三脚に取り付けられていましたが、H3-VR内部にはセンサーが入っていて、どちら向きになっているかを自動的に判別する仕組みになっているんですね(手動で設定することもできますが)。SCなどの360度カメラとセットで使えるように、デュアルマウントアダプタなるアクセサリも標準で付属してますよ。H3-VRに付属のデュアルマウントアダプタ単3電池2本で駆動し、microSDカードにレコーディングしていくH3-VR。ヘッドホン端子で入ってくる音をモニターしつつ、マイクの入力ゲインの調整ノブで最適なレベルにした上でレコーディングスタート。SCのほうも録画スタートさせます。この2つの機材を同時に使うとはいえ、特に同期システムがあるわけではなく、単に同じ位置、同じ方向に向けて、録音スイッチ、録画スイッチをそれぞれ押すだけなんですね。それぞれ正面の方向があるので、そこを合わせるのがミソでもあるんです。底蓋を開くと、ここに電池とmicroSDが入るようになっている当日行ったのは、それだけ。問題はそれぞれの機材で録ったものを、どうやって合成し、YouTubeにUPするか、という点でした。ZOOMのサイトに行っても、その辺の詳細が記載されていないし、ネット上で検索してもまったく見つけられなかったんですよね。そこで、音楽・映像クリエイターでライターの大須賀淳さんに連絡し、どうすればいいのか、少しアドバイスをいただいた結果、なんとかできたので、その流れを紹介してみましょう。SCで直接録画した結果は2つの魚眼レンズによる「全天球イメージ」と呼ばれる映像であり、そのまま使うことができません。THETAというソフトを使って、PCで360度回転させることが可能な映像データに変換します。8700という6コアのCPUでも実時間以上かかりますね。THETAというソフトを使って普通にPC上で360度回せる動画に変換この変換したデータも前後に不要な部分があるので、トリミングが必要です。ファイル形式としてはMP4となっていますが、360度の情報がかなり特殊な映像のようなので、どう扱っていいのかが分かりません。そこで大須賀さんに聞いたところ、特殊な部分は、単にメタ情報だけなので、MP4が扱える編集ソフトであれば何でもOKとのこと。16を使って不要部分をトリミングするとともに、前述の通り最後が5分で途切れているため、フェードアウトするようにしました。SCの画面サイズをキープする形で、1920×960で、フレームレートは29.97というちょっと特殊なものに手動で設定しています。Bフォーマットのひとつ(もう一つがFumaです)。これも実はWAVファイル的には単に4chのもので、メタ情報によってAmbiXと定義されているだけだから、単にトリミングするだけなら、どんなソフトでもよさそうです。10を使ってみました。Ambisonics(一次Ambisonics)に設定した上で、H3-VRのデータを読み込み、トリミングやフェードアウト処理などを行います。Outにしておくと、自動的にバイノーラルデコーダが設定されるので、ヘッドホンで音を360度グリグリ動かしてモニターすることが可能です。ここではまだ映像は連携してないので、X軸、Y軸、Z軸(Yaw、Pitch、Roll)を動かすという形ではありますが...。自動的にセットされるバイノーラルに変換するAmbiDecoderが機能する問題は、編集した結果をどうやってAmbiXのまま出力するか。これはダミーでいいので一次Ambisonicsのバスを作っておき、これをオーディオトラックに設定。その上でオーディオの書き出しをすればいいんですね。Outを設定しておくのがポイントちなみに、やや音量を控えめにレコーディングしたこともあり、再生した音が小さかったので、Cubaseのノーマライズ機能を用いて音量を持ち上げてみました。これによって4つのマイクのバランスが狂ってしまうようで、立体感がおかしくなってしまいました。ここではノーマライズは使わず、少し音量をUPする形で対処しました。これでCubaseから書き出すとAmbiXフォーマットのWAVファイルが生成されるこれで素材の準備は整ったわけですが、問題はこれをどうやって、くっつけるのか、という点。実はそのためのツールをGoogleやFacebookが無料で公開してくれているんですね。Encoderというツールを先に見つけてインストールしたので、今回はこれを使いました。これ、VST版とかAAX版というものがあり、DAWのプラグインとしても使えるっぽいのですが、よく分からなかったので、そちらは使っておらず、今回はスタンドアロンで利用しています。Encoderで出力フォーマットをYouTubeに設定またWindows版をインストールして使ってみると、これだけでは動作しないようで、PythonおよびMP4Boxなるソフトが入っている必要があるようだったので(いずれもフリーウェア)、これらもインストールしてから作業に取り掛かりました。ここでの目的は、先ほど作成したMP4の動画とAmbiXのWAVファイルを合体させること。ambiX)」を選択し。VIDEOはデフォルトの「MonoScopic」を選んでおきます。読み込むオーディオとしてはAmbiXを指定その上で、先ほど作ったMP4ファイルとWAVファイルを読み込み、「Encode」ボタンを押して書き出しファイル名を指定すれば、これで完成です。書き出したファイルはMP4ファイルとなっていますが、Windowsのプレイヤーで再生すると見事360度動画として再生され、ちゃんと音が付いてきてくれますね。エンコード結果のMP4はWindowsのプレイヤーでも360度再生できるただ、ここまでの手順で「おや?」と思った方も多いと思いますが、映像と音を同期させる手段がまったくないのです。いわゆるカチンコという方法で、同期させる音は録音しておいたのですが、動画と音を別々に編集しているから合わせる術がありません。仕方ないので、この辺はやや手探り。SCでも音は録っているので、その音を聴きながら、ここだというところでトリミングし、Cubase側でも同じところでトリミング。Encoderで合体させてズレていたら、Cubaseでのトリミングを調整しなおして再度合体...という試行錯誤を繰り返して作ったのがこのビデオなんです。16も含め、多くの動画編集ソフトでH3-VRのAmbiXのWAVファイルを読み込むことは可能なので、カチンコを利用しつつ、ここで波形を同期させてトリミングするほうが効率がいいかもしれません。必要に応じてトリミングした結果をCubaseなどに読み込んで、そこで改めて波形を合わせるというのも手ですね。Proなどはメタ情報の編集も可能とのことなので、より効率的に作業できるのかもしれません。あとは、普通にYouTubeにUPすれば、自動的に360度動画として認識され、誰もがグリグリ動かせるようになったのです。SCだけで、こんな面白い動画が作れるのですから、すごい時代になったものですよね。今後面白い作品がいっぱい登場してくれるといいな、と期待しているところです。大須賀淳の公式サイトDTMステーションCreativeオンラインストア【関連記事】TRANCE系アイドルグループd-girlsのリミックスコンテスト!優勝者は赤坂BLITZでのワンマンで作品披露&ご招待Cubaseによるパラ出しで赤坂BLITZのライブを演出。L-8の便利さは驚異的。録音、ミックス、オーディオIF、ライブ配信......何でもできるスーパーマシン藤本健DTM、デジタルレコーディング、デジタルオーディオを中心に執筆するライター。Laboratoryを2001年より連載。「Cubase徹底操作ガイド」(リットーミュージック)、「ボーカロイド技術論」(ヤマハミュージックメディア)などの著書も多数ある。趣味は太陽光発電、2004年より自宅の電気を太陽光発電で賄うほか、現在3つの発電所を運用する発電所長でもある。Sと3種類もっておりますが、しばらく停滞していたところにH3-VRが発売され、興味を持っていました。うまく連動するのかなと思ったら、手で試行錯誤なんですね、ちょっと残念wアマチュアバンド(おもにフュージョンなどPAを通すジャンル)のライブの記録などに使えたらなと思っていますが、H3-VRは音圧の高いライブハウスなどでは使えますかね?Zoomさんだから大丈夫だとは思いますが、もし機会がありましたら、試してみて頂けたら嬉しいです。今回の組み合わせだとライブハウスでは、Thetaが暗くてうまく写らないかもしれませんね。健bignumさん今回、だいぶ試行錯誤しましたが、次回やるときは、手順も覚えたし、波形を合わせて操作することもできそうなので、比較的短時間で編集できそうです。ライブハウスでの使用はしていませんが、レベル調整をした感じからすると、全然問題なく使えそうです。ライブハウスの爆音の中だと、立体感はあまり出ない可能性が高いですね。コメントをキャンセルメールアドレスが公開されることはありません。SynthsをAbletonが無料で公開。...これまでのアンケート結果はこちら本日の人気記事Eventideが物理モデリングでスプリングリバーブ=バネ・エコーをプラグイン化。2020どんなDAWでもOK!聴き比べながらミックス/マスタリングが学べる書籍『DAWミックス/マスタリング基礎大全』が分かりやすい!クラウド型の無料の楽譜作成ツール、Flatがサービススタート。Creative運営についてABOUT広告募集お問い合わせDTMステーションについてDTM、デジタルレコーディング、DAW、MIDIといった分野の情報を紹介します。初心者の入門用として、プロミュージシャンの実践術としても役立つ記事、製品レビューなどをお届けします。RSSのfeedはこちらです。“DTMステーション”。