233このブログでは歌声合成/話声合成/声質変換/VRに関する情報を集めて自由に発信しています。モットーは「実際に触って記事を書く」シュミなので誤字等放置。420CeVIOエンジンを作ったテクノスピーチさんが2018年にディープラーニングで人っぽく歌える歌声合成を発表しましたよね。私「行かねば(義務感)」10月9日に明治記念館でポスター展示します。一般の方も無料で入れるようです。最新の歌声合成のデモもするのでぜひ。2019【いざ会場へ】というわけで行ってきました。会場がやたら高級感あるんですよね。総務省のイベントだからかな?でもその辺は私も仕事で慣れてきました。受付を済ませて会場に入るとブース......(中村さんいらっしゃる)DAW連携しよる!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!(第1印象)ディープラーニングとはあんまり関係ないんですが、NeoCeVIO(仮)、現時点でREAPER上で動いとるんですわ。製品化のめどがたっていないので今後どうなるかはさっぱり分からないですが、NeoCeVIOがDAWで(も)動く可能性はあるんじゃないでしょうか。DAW連携以前に、このシステムが動いてるのが一般的なノートPCですよね。実際にその場でも合成して見せてもらったんですが、ちょっと待てば普通に合成完了しました。今年の3月ごろの時点では「高速演算が可能なコンピュータでも5分の歌を合成するのに10時間近くがかかる」という話だったらしいですが、その後8月くらい?には高速化に成功したようです。AI歌声合成をボーカルに起用した世界初のCDをリリース。歌声合成技術が人間を超える日は来るのか!?【本題】NeoCeVIO(仮)は、今日見た限りではもうかなり出来上がっていました。MusicXMLをCeVIOっぽいピアノロールが載ったGUIに投げると歌声が合成されます。これあれば、作曲家さんが深夜に「アイデア降ってきた!」ってなって作業してもすぐに歌まで作れちゃう。調声しなくていいから。いえ、調声したいというニーズもやっぱりある。今回されていた仮GUIでは、ノートの移動はできないものの、パラメーターはいじれるようになっていた。用意されているのはボリューム・ピッチ・タイミング(デュレーション)・ビブラートの周期と振幅あたりで、今のCeVIOと変わらない。それぞれのパラメーターの表示も変わりませんでした。仮なのでパラメーターの種類とか表示がどうなるかはわからないですが。これを読もうと思った皆さんなら、たぶんすでにNeoCeVIO(仮)カバーは何曲か聞いていると思います。基本的にはそれと同じような音・歌い方になっています。今回は一般公開されていない、あいみょんカバーやSuperflyカバーなんかを聞かせてもらいました。DTMステーションのAIシンガーCDを聞いてみたあいみょんをNeoささら(仮)が歌ってるのは「うん。」っていう納得感があったんですが、Superflyを表情豊かに歌っているNeoささら(仮)は新鮮でしたね。A・Bメロは落ち着いた感じに。サビではテンション上げて力強く歌ってくれました。その辺の、“シンガーのテンション”のコントロールは強弱記号でできるそうです。CeVIOでもピアニッシモからフォルティッシモまで指定して歌わせられるんですが、NeoCeVIO(仮)でもできるらしい。落ち着いているというのは、声色というよりも歌い方に現れる感じがしました。ピッチがそんなにぶれないし、しゃくりも激しくない。サビになると、声色もハる感じでしたが、しゃくりやビブラートが強めにかかる(あくまで印象)ようでした。ちなみに、音程はやっぱり外します。中の人が外すならもちろんそれが正解。音楽製品にすることを考えるなら補正システムも欲しいですよね~~って話をしました。1キャラ毎に別スタイルの音源をバンドルして販売するとかもいいですよね~~とか好き勝手言いました。【製品化はいつ?】さっぱりわからないです。エンジンのほうはもう結構できてると思うんですが、GUIのほうはまだ考えるべきことがありそうです。DAW連携するとなれば、その辺のシステムも作りこみが必要だそうな。技術的な面ばっかりじゃないんですよね。会社として、製品として販売するとなればいろいろ事情がありますよね。大変なんですよ(たぶん)。できる限り早く出したいという話でしたし、私も早く出してほしい(欲望まる出し)ので、期待して待っていましょう。419スペクトログラムというのは、音声のスペクトルに時間軸付け足してビジュアライズしたものです。これを見ると合成音声の性質がちょっと見えてくるぞ。・人間の生声これはUTAUの原音ですね。・VOCALOID結構人に近い気もする。ピッチの整ってる感は人工な感じ。・UTAUかなり息成分が出ている。UTAUは全体的に息成分が生きやすい気がする。ちなみにエンジンはfresamp14。・CeVIO超低音域が結構出ている。ONEの特徴かと思いきや、CeVIOは大体この100Hz以下の低音が強め。拡大してみると、息成分がだいぶ整っていることが分かる。・VOICEROID(歌ボ)息成分少な目。子音以外にたまに入っている縦線は歌ボ特有の「-伸ばし」によるもの。・SinsySinsyも息成分が少なめ。Sinsyのスペクトログラムはかなり特殊な感じ。息成分に「X」のような模様がよく出る。これのせいというわけじゃないだろうが、息成分だけ取り出すと結構ゴワゴワした音であることが分かる。・SynthV低音も含め息成分がまんべんなくしっかりと出ている。・Alter/Ego息成分あまりなし。高音はあんまり出てない。・Aquestone(無印)中域・中高域の息成分が案外ある。高音はさっぱり出てない。子音以外の縦線はシンセでいうところのアタック部分。・LaLaSong高音域は足りてないながらも結構健闘している。基本周波数と低めの倍音当たりの幅がなぜか広い。・MUTAシステムやUIはCeVIOに似ているけど、音は別に似ていない。・OpenUTAUUTAUと同様、息成分がだいぶ正しく出ている感じ。・Sharpkey息成分はあんまりない。418歌声合成ソフトで「囁き声が作れる」って、VOCALOID5、UTAU、SynthVくらいで、結構特殊技術なんですよね。表現として囁かせたいことありますよね?Editor側で作るのには限界があるし、こういうのは外部ツールを使うべきポイントなんですよね。どんな歌声合成ソフトでも一回音声書き出してしまえば全部WAVEファイル。実は、音声を読み込んで囁き声に変換できるソフトがあるんです。「ToWhisperTone」って言うんですけど。2019これは、音声を読み込んで範囲選択してボタンを押すと囁き声に変換してくれるツール。私のオススメ設定は↑の画像のとおり。ポイントは「LPFの強度」です。LPFってローパスフィルターです。数値を小さくすると低音が削れて行きます。数値がでかいとデスボイスっぽくなりやすいので、囁かせたいのであれば小さめに設定するのがいい。音声→音声なので、歌声合成ソフトの違いには左右されない。音質によって相性はあるけど。V3ボカロもボイロもCeVIOもささやかせられる。elements」が無償配布されています。便利なので持っておこう。UTAUの人や歌ボの人はDTMツールあんまり持ってなかったりするけど、これを機に沼に足を踏み入れてみようよ。自動でマスタリングしてくれるエフェクト。当たり前だけど、AviUtlやAudacityでは使う意味がないので素直にDAW使おう。2019マスタリングって、コンプやイコライザーやリミッターを使って、全体を見ながら音圧やなんやを整える作業です。慣れるとそんなに手間のかかる作業じゃなくなるんですが、慣れないと激ムズ。Ozoneはマスタリングをほぼ自動化してくれる。「ストリーミング向け?CD向け?」って言う質問に1個2個答えるだけで、何となくいいカンジにしてくれる。何がいいかというと、簡単なのはそうなんだけど、それ以上に「時間が浮く」ということ。「メッサ時間かけても自分的にいいものができるかどうかわからない」くらいなら、「ボタン1個で無難」のほうがいい。技術が身に就けば「数手でとてもいいもの」ができるんだろうけど。Ozoneの自動マスタリングは無難というか「普通にいい」くらいの仕上がりになる。ベース結構増やす癖がある感じもするけど、安心して任せられる。気に入らなければ自分で手直しすればいいし。※ちょっとわかる人向け「CD・MID(CD向け音圧中)」「CD・HI(CD向け音圧高)」はリミッターで結構つぶす感じになって個人的には好みじゃないので、私は「ストリーミング向け」にしてシーリングを0.1~0.3くらいにしてる。これが正しいかどうかは知らない。時間が浮けば、もっとUTAUやボイロと触れ合う時間を増やせる。限られた時間の中であなたは調声とMIXどっちにリソースを割きたいの?という話。MIXに割きたいなら全力でMIXすればいいし、調声に割きたいなら全力で調声すればいい。残ったほうは自動化すれば、割きたいことに割ける時間が増える。制作にかかる時間が短くなるので、作品をたくさん生み出すという方向で考えてもいいかも。1万円以上のものが無料で手に入るって普通にお得だし。