16:13余裕の1万ドル超え。SSD、稼働32,768時間超えでデータ喪失。音楽情報処理研究が切り拓く未来を探る」が行なわれ、音楽、PVやダンスなどを含む音楽動画の情報処理に関する研究成果が、デモンストレーションを交えて発表された。伊藤博之氏による講演も行なわれた。合わせてレポートする。コンテンツ共生社会のための類似度を可知化する情報環境の実現」。プロジェクトの目標は「音楽の聴き方・創り方の未来を切り拓く技術開発により、音楽の楽しみ方がより能動的で豊かになり、人類と音楽との関係がより良い形で発展していけるようになる情報環境の構築を目指す」というもの。コンテンツ間の類似度を示し、音楽の楽しみ方をより能動的にするのが目標だという。2011年10月~2017年3月。5カ年のプロジェクトで、現在は3年目。今回は中間発表となる。「能動的な音楽鑑賞」とは何か。最初に、今回のシンポジウムを聞いて筆者が感じたことをまとめておく。能動的と聞くと「創作」と考える人が多いと思うが、創作だけが能動的な音楽の楽しみ方ではない。似た楽曲を探索することも、能動的な楽しみ方だと言える。イコライザで少し音をいじるのも能動的音楽鑑賞だし、もちろん、歌ってみたり、それを動画で共有したりすることも能動的な楽しみ方だ。重要なことは自分自身が何かを決めて選択し実行する、そして何かしらの主観的な感覚、体験を得ることだ。どんなに些細なものであっても、主観的な経験はコピー不可能な、自分だけのものである。本質は何かと考えると、これまでは「音楽」を理解し生成できるのは人間だけだと考えられてきた。情報処理技術によって、計算機が音楽の構造や構成、盛り上げ方などを理解することができるようになりつつある。「理解」というのは言い過ぎかもしれない。少なくとも、ある程度ならば人間の感動に貢献できる形で処理結果を返すことができるようになりつつある。その技術を使って何ができるのか。後藤氏は始めに“新ネタ”を紹介した。音楽鑑賞サービスSongleとロボット制御ソフトウェア「V-Sido」の連携によるロボットダンス、音楽視聴支援サービスSongriumの3D化「Songrium3D」、音楽に連動したCGキャラクターのダンスの自動生成「MachineDancing」、音楽に同期した歌詞テロップの編集環境「TextAlive」だ。プロジェクトの狙いと概略紹介が行なわれた。音楽情報処理とは、楽曲の中身やシーンを検出、解析し、機械学習などの方法を用いて、コンテンツの類似度や構造を明らかにして、視聴者に提示し、それを再活用しやすくする技術だ。膨大なコンテンツ間の類似度を知ることができるようにすることで、音楽の創作・鑑賞をスポーツや料理のように誰もが楽しめるようにすることが目的の1つである。コンテンツが増えるのはすばらしいが、過去のコンテンツが増え続けることで、1つ1つは埋没しやすくなる。盗作ではないにも関わらず、部分的に類似してしまう楽曲も増えてくる。それは人間の類似度認識能力に限界があるからだ。人間はある事象の発生確率を正確に見極めることは苦手だ。これらは一億総クリエータ時代にとっては危惧される点だと後藤氏は述べた。そのために類似度を「可知化」する技術が必要なのだという。後藤氏は「コンテンツを安心して制作発表できるようにしたい」と語り、「ありがち度」が高い事象(コンテンツ)は人類共有の知でもあり、それをベースにした創作支援技術にも繋がるし、コンテンツとの出会いや鑑賞をより豊かにしたいという。コンテンツ文化を生み出したい」と述べた。「似ているか、似てないか」に価値があるわけではないというわけだ。ありがち度の推定と音楽理解技術などの研究開発を進めているという。続けて後藤氏は各研究成果を抜粋して紹介した。「Songle」は、Web上の楽曲を自動解析して能動的音楽鑑賞を支援するサービスで、2012年にリリースされた。楽曲構造(サビ区間と繰り返し区間)、ビート構造(拍と小節の先頭)、メロディー(歌声の音高)、コード(根音とコードタイプ)を自動解析し、タブをクリックするだけで各要素の自動解析結果を聞くことができる。音楽的能力がない人でも気軽に、より深く音楽を理解することができる。音楽構造を自動解析すると、具体的にはどんな良いことがあるのか。サビだけ聞いてみるといったことができるのが1つ。解析結果をもとにビジュアライズすることもできる。コード進行検索もできる。自動解析は正確ではないが、間違いを人が修正することもできる。自動解析結果の誤りを人間がブラウザ上で修正・共有した結果は機械学習する。「ユーザーとシステムがそれぞれ力を合わせる仕組みはこれからの情報システムには必須だ」と後藤氏は述べた。外部サービスとも連携できる。Songleはコンテンツ投稿サイト「ピアプロ」と連携しており、登録されている8万曲以上の全ての楽曲からSongleへリンクがあり、自動解析されている。外部埋め込みプレーヤーも提供されている。実世界のデバイス制御も可能で、例えば音楽と連動して照明器具の操作ができたり、「MikuMikuDance」のモデルデータであるMMDモデルを同期させて踊らせることもできる。「Melvie」というソーシャルVJサービスでは、楽曲の構造に応じて動画素材にエフェクトをかけて表示するということも実現できている。今回、Songle外部埋め込みプレーヤーの利用例として初公開となったのは、現在はアスラテック株式会社チーフロボットクリエイターを務める吉崎航氏が開発した「V-Sido」というヒト型ロボット制御ソフトウェアへの対応。開発者の吉崎氏による実装で、Songleの解析結果を使ってV-Sido搭載のロボットが踊れるようになった。V-SidoのHTTPサーバー機能を用いてSongleの外部埋め込みコードを追加したもので、事前の踊りテンプレート(今回は8種類)を組み合わせたダンスだが、「V-Sido」で機体を制御しているので、リアルタイムにジョイスティクそのほかで割り込みができる。踊りを踊っているところに歩かせることで、歩きながら踊らせることができるし、ロボットが踊っている途中で向きが変わってしまっても、人による操作で介入してまた正面を向かせることもできる。今回のデモでは、PC上でV-Sidoを実行してBluetooth経由でロボットを制御している。人前で行なうデモということで、ロボットのサーボモーターの動作音が音楽と重ならないようやや遅らせている。ビデオ作品などで見せる場合は、ロボットの動作音を消せるので、その場合は曲のリズムに合わせて動かした方が良く見えるようだという。今回は腰の動きに気を遣ったとのことだ。Widget」も同日公開された。JavaScriptを扱える人であれば、誰でも音楽連携したサービスで、例えば音楽に合わせてアニメーションを表示するといったものを開発できる。狙いは、音楽理解技術を持っていない人であっても、音楽に連動した世界を実現可能にすることだという。サビジャンプ機能は非常に便利だと後藤氏は述べた。単一の楽曲とほかの楽曲とを繋げる技術が「Songrium」だ。「ニコニコ動画」などのソーシャル投稿サイトではオリジナルの派生作品が多数生み出される。オリジナルの楽曲と派生作品の関係を明示するのが「Songrium」で、2013年8月にリリースされた。音楽コンテンツ間の繋がりを意識した鑑賞を目指す「Songrium」では、オリジナル作品の周りを派生作品が衛星のように回っており、あるコンテンツがどんな派生作品を生み出し得るのかが明示される。「コンテンツ生成力」が分かる。後藤氏は、これはこれまでの再生回数などとは違う指標になりえるものであり、派生からオリジナルへとリンクするリファーする文化がもっと普及すれば、より豊かな世界が実現できるのではないかと述べた。音楽コンテンツには多種多様な関係があり、全て自動で見出すことは現時点では難しい。そのため、ユーザーが矢印などを付けることでコンテンツとの関係情報を付加できる機能もある。「Songrium」は「ニコニコ動画」だけではなく、Youtubeにも対応しているという。Youtube上の楽曲動画はニコニコ動画ほど構造化されておらず雑多なため、現時点ではニコニコ動画の方が解析には向いているようだ。3D」で、これも同日公開された。3次元になることで、ますます星のように表現されており、1つ1つの星が楽曲で、1つの楽曲の再生が終わると次の星へと移動していく。多くの衛星や、まるで輪のように無数の星を持っているように見える楽曲は、それだけ多くの派生作品を持つ楽曲であることを示している。Songriumの技術を使って別の応用も対象の動画。成果がざっと紹介された。後藤氏は「コピー不可能な体験を創出することが本質だ」と述べた。コンテンツ産業は体験をコピー可能にすることで発展してきた。デジタル化による流通技術の発展によって、コピー可能な受動的な体験の産業上の価値は、なくなる可能性もある。注力しているのはそのためだという。音楽情報の可視化や加工に参加するによりコンテンツへの理解はより深まる。それは自分だけのものだ。後藤氏は最後に、デジタル化の本質はコピー不可能な体験を情報技術の力で実現する質的な変化であり、未来のクリエイティブ産業の牽引には、コピー不可能な体験を価値の中核に置くことが重要だと語った。続けて各チームからの研究紹介が行なわれた。教授の森島繁生氏は「音楽動画の創作・鑑賞支援に関する研究成果の紹介」と題して講演した。アニメ「のだめカンタービレ」で千秋の指揮棒動作を取り込むのにも森島氏らの技術が用いられている。森島氏は、現在では顔の高速モデリングが可能で、愛知万博のときは3分かかっていたものが今はわずか2秒程度でできるようになっていることを、実際にデモで示した。准教授の中村聡史氏は「音楽動画とインタラクションに関する研究成果の紹介」と題して講演した。「人にまつわる人を中心とした研究」を行なっている。動画共有サイトにアップロードされている動画は膨大な量になっている。好みの動画を探し出すのは難しく、また創作のハードルは依然として高い。Mixer」、複数演奏データからの合奏生成など、創作と鑑賞の間に関わる技術などの研究を行なっている。関する研究成果の紹介」と題して研究紹介した。音楽をより深く計算機に理解させて、新しい音楽検索と音楽鑑賞スタイルを生み出し、かつ、音楽の内容を自分の好みに合わせて操作できる技術を目指しているという。吉井氏らのグループでは統計的機械学習を用いている。「教師なし学習」でデータ内の構造や規則を発見させ、音源分離や自動採譜を可能にすることを目指している。音楽音響信号を解析することで、イコライザのように単純に周波数帯域だけではなく、混合音から楽器パートごとに音を抽出、さらに操作したり再構成したりできるようになる。各部品から成立している音楽をもう一度ばらばらの部品へと戻して好みに応じて組み直すことができるのだ。モデル」や、位相情報を取り扱える「無限半正定値テンソル分解」という手法を提案し、混合音からのブラインド音源分離を実現している。最終目標は楽譜のような事前情報なしで音楽音響信号をMIDIのように取り扱えるようにすることだという。アプリケーションとしては、例えばドラムの音色だけを自分好みのものに置き換えられる「楽器音イコライザ」、既存の歌声に好きな歌手の歌い方を転写する「歌声イコライザ」、音楽と言語の共通性に着目し、ノンパラメトリックベイズモデルを用いた統計的音楽生成の可能性などを示した。モデルを学習できるようになれば、創作も可能になる、ということだ。代表取締役の伊藤博之氏が講演した。演題は「初音ミクが切り拓いてきた世界、切り拓く未来」。紹介すると、クリプトン・フューチャー・メディア株式会社は、2007年にヤマハ株式会社のVOCALOID技術を使って歌声合成ソフトウェア「初音ミク」を発売した会社である。合成音声にキャラクター性をもたせ、「ニコニコ動画」を中心とした動画共有サイトで創作がさらに創作を呼び大ヒット。「初音ミク」はCGM(消費者生成メディア)の代表となった。伊藤氏は「初音ミク」以前の革新的な技術として、蓄音機(1877年)、トランジスタラジオ(1955年ごろ)、Minimoog(1970年)を挙げた。蓄音機以前は、紙には書き切れないニュアンスやエモーショナルな部分は記録ができなかった。蓄音機以前は音楽は民俗的なもので、歌手は語り部であり、音楽は物語性が強いものだった。蓄音機の登場によって歌手は「アーティスト」とみなされるようになり、音楽は「プロダクト」になった。小さくて安価なトランジスタラジオによって音楽は大衆化、個人化した。若者たちが音楽に親しむ機会が増えて、ロックンロールなどが生まれ、音楽の中で描かれる物語も多様化した。Minimoogはそれまで扱いが難しかったシンセサイザーを劇的に使いやすくした。レゾナンスとカットオフ周波数の考え方は画期的で、情感豊かな音色を人工的に作れることを示した。ディスコなどダンスミュージックのブームにのって、音楽のトレンドは物語からビートへとシフトした、と伊藤氏は述べた。ここから歌声の素材化が始まったという。蓄音機によって音楽はプロダクトにトランジスターラジオは多くの若者たちに音楽を身近なものにしたMinimoogは情感を人工的に作り出せることを示した「初音ミク」は最初のボーカロイドではない。初音ミクがもっとも多くの支持を受けたのか。伊藤氏は、最大の理由はアマチュアリズムの存在に尽きると述べた。アマチュアリズムに火をつけた原因はキャラクターにある。最初期はミク自身のことを歌わせるものが多かったが、だんだん共通テーマが形成されはじめ、さらにそれに引き寄せられるかたちで音楽リスナーや創作者たちが集まり、架空のキャラクターが形成されていった。「初音ミク」だけでなく音声合成ソフトウェア全般に言えることだが、滑舌はあまりよくない。そのため動画に歌詞テロップを多くの人が入れるようになった。ほどなく字幕の入れ方さえも個性や表現になり、先鋭化していった。滑舌が悪いという不利な点が逆に利用されて表現になっていったのだ。その結果、作品の物語性は高まっていった。楽曲だけではなく、そこから派生小説なども生まれていくようになった。2010年前後からクリエイターが牽引していくケースが増えていった、という。歌詞字幕を表現にしている例として伊藤氏が示した動画ニコニコ動画における50万再生数を超えるボーカロイド動画数の変化ではこれからどうなるのか。動画で50万再生を超えた楽曲は2011年は68曲、2012年は77曲。2013年になると半減。今年投稿された曲で50万再生を超えた数は8月時点で7曲になっている。何が起こっているのか。伊藤氏は過去の人気動画などに再生数が分散しているのではないかと述べ、今後は、こういう状況から、クリエイターが牽引するだけではなくアクティブリスナーやキュレーターが重要な役割を果たすようになるのではないかと語った。音楽が物語からビートへとシフトしたが、再び物語を紡ぐものへとシフトしている気がすると述べ、歌声合成ソフトウェアによって再び蓄音機以前のような「物語」が重視される状況になりつつあるという見方を示した。スパイク・ジョーンズ監督脚本の「her/世界でひとつの彼女」という近未来を舞台にした映画を紹介。サマンサという人工知能の女声に恋をしてしまう男の物語だ。この映画では「サマンサ」は映像としては姿をまったく見せず、アバターのようなものすら出てこない。伊藤氏は、そこに日本人からすると違和感を感じたという。逆の違和感を欧米では感じることがあるという。3DのCGアバターに嫌悪感を感じる人が少なくないという。いう背景もあり、「初音ミクが成功したのは日本だからだよ」と言われることもあると述べた。伊藤氏はレディガガのオープニングアクトとして初音ミクのアバターが出てきたときの映像を示し、アトランタやワシントンDCは案外声援が大きかったと述べた。これまでの海外でのイベントを通じて「ミクを知らない人の方が圧倒的に多いことは確か。マイノリティが多い人の地域の方が声援は大きい」と感じているという。「シラケて見ている人たちが多い地域もある」そうで、「欧米ではアバターを使うと、むしろ『見た目』で脚をひっぱられることもある」と指摘した。伊藤氏は「そもそも人間の歌手でさえ『アーティスト』として見られるようになって日が浅い、バーチャルシンガーがアーティストとして見られるにはまだイノベーションが必要だ」と続けた。情感の再生や発声のバリエーションが必要だと感じているという。アコースティック楽器においては楽器をまるごとサンプリングする試みがあったが、人間の声はバリエーションが多過ぎるし、再現性も難しく、同じことを行なうのは難しい。人間の声にこだわる必要はなく、かつてシンセサイザーがアコースティックの再現とは別のところからブレイクスルーを果たしたように、エモーショナルに関する新たなパラメータを発見してモデルに組み込むことが人間を超えるということでは大事なのではないかと語った。「のどを超える歌声」をどう作るかが勝負だ。Pater)による「すべての芸術は絶えず音楽の状態に憧れる」という言葉を紹介した。音楽はどんな人種の誰が聞いても楽しいとか悲しいとか感じることができるという意味だ。伊藤氏は同じ文脈で、音楽情報処理は芸術の情報処理の中でも核心をついた分野だと述べて講演を締めくくった。