419スペクトログラムというのは、音声のスペクトルに時間軸付け足してビジュアライズしたものです。これを見ると合成音声の性質がちょっと見えてくるぞ。・人間の生声これはUTAUの原音ですね。・VOCALOID結構人に近い気もする。ピッチの整ってる感は人工な感じ。・UTAUかなり息成分が出ている。UTAUは全体的に息成分が生きやすい気がする。ちなみにエンジンはfresamp14。・CeVIO超低音域が結構出ている。ONEの特徴かと思いきや、CeVIOは大体この100Hz以下の低音が強め。拡大してみると、息成分がだいぶ整っていることが分かる。・VOICEROID(歌ボ)息成分少な目。子音以外にたまに入っている縦線は歌ボ特有の「-伸ばし」によるもの。・SinsySinsyも息成分が少なめ。Sinsyのスペクトログラムはかなり特殊な感じ。息成分に「X」のような模様がよく出る。これのせいというわけじゃないだろうが、息成分だけ取り出すと結構ゴワゴワした音であることが分かる。・SynthV低音も含め息成分がまんべんなくしっかりと出ている。・Alter/Ego息成分あまりなし。高音はあんまり出てない。・Aquestone(無印)中域・中高域の息成分が案外ある。高音はさっぱり出てない。子音以外の縦線はシンセでいうところのアタック部分。・LaLaSong高音域は足りてないながらも結構健闘している。基本周波数と低めの倍音当たりの幅がなぜか広い。・MUTAシステムやUIはCeVIOに似ているけど、音は別に似ていない。・OpenUTAUUTAUと同様、息成分がだいぶ正しく出ている感じ。・Sharpkey息成分はあんまりない。416この記事では、私がSinsy(f00005j)を調声する過程を事細かに記録していきます。作業を進めるたびに更新していくので、最初のうちは分量少ないし、何回も更新かかるしで見るのめんどいかと思いますが、見たい場合は頑張ってください。・打ち込みますCeVIOでベースとなるシーケンスを組み立てます。基本的にベタ打ちですが、歌詞コントロールに細かいテクニックがあります。仮歌ボーカリストONEと歌い方が近いので、打ち込みではONEを使います。ささらさんは結構違うのでイメージが離れやすい。「’」と「っ」と「ー」Sinsyでは「’」と「っ」と「ー」が使えるので必要に応じて使いまくります。Sinsyの「’」は母音脱落。「っ」は破裂音の前でだけ使います。歯擦音や摩擦音の類は「っ」ではなくてVocalShifterのTMGで伸ばすので、ここではスルー。鼻音はVSで引き延ばすとやぼったくなってしまうので、直前に「ん」を長めに入れておいて、あとで必要に応じて短くします。母音を母音で分割するのと「ー」で分割するのとは一応使い分けます。f00005jの場合、この二つにはそこまで差がないですが、母音が連続するときでもあんまり言い直さない歌い方をするので、大体母音で分割していいです。気になったら「ー」で生成しなおす。「ー」分割は、長めのしゃくりあげやフォールをするときに使います。TUNEといったピッチ系ツールで調声するので、派手にいじると音声の劣化が目立ってしまう。長めのしゃくりがある場合は、初めからVOCALOIDと同じように「ー」分割してしゃくりを作っておいた方が劣化が抑えられる。スラーとブレススラーもブレスも使えます。スラーは使えてもほぼ効かないので気休め程度に。「ー」を使うときに一つ前のノートとまとめてスラーを掛けたり、鼻音を伸ばすときに直前の「ん」とまとめてスラーを掛けたり、二重母音を作りたいときに使います。ブレスは音量が小さいので、息を吸ってる音を出したいときというより、細かい無音を作りたいときに使います。声紋閉鎖(のど切り)をやりたいときに使えたりします。語尾息VOCALOID的に考えて「あは’=ah」という風にしても語尾息は作れますが、あんまり音質が良くないので、ノートをちょっとだけ伸ばして放置します。これは、あとで囁き化ツールを使って語尾息を作るため。・SinsyページにアップロードXML書き出しCeVIOでXML書き出し。私のお気に入りはf00005jで、声質が0.50です。ピッチシフトは、発音が気に入らなかったときに-2キーとかにして発音が変わるか試すときに使う。気に入った発音になったらピッチシフトして使う。XMLをUP&ダウンロードXMLを指定して送信ボタンを押せば、サーバー側で合成が始まる。出来上がったら「wav」リンクを右クリックして「名前を付けて保存」でダウンロードする。・仮MIX私はここで簡単にMIXします。発音や音程が気に入らないところを探す。考えることありますな。・DAWでボリューム調整、ジェンダー調声、グロウル調声という順で、歌声合成に関する知識と経験とツールを全力で投入していきます。その歌声合成ソフトでピッチを描くとき、どうやって書きます?ピッチの描き方には結構好みが出るので、ソフトによって好き嫌いが激しく分かれます。個人的には、「歌声合成ソフトの使いやすさ」はほぼピッチで決まると思っている。好みが出るということは、普段使っているソフトと似た操作方法のソフトは手になじみやすく、似てないソフトはなじみにくい可能性が高いということでもある。今回は大体3系統に分けてみようと思います。ちなみに複数カテゴリーにまたがるソフトもある。【タイプV】VOCALOIDのようなMIDIっぽい書き方をするもの。ピッチカーブを直接いじることはできず、ノートごとにピッチベンドをいじって間接的にピッチを描いていく方式。ピッチベンドを使う以外に、複数のノートを組み合わせてピッチをコントロールする「ノート分割」を使うことも多い。VOCALOID、Alter/Ego、Aquetone、Cadencii、ディレイラマ、NIAONIAO、PiaproStudio、Renoid、SynthVなどピッチベンドがなく、ノート分割のみでピッチをコントロールするものもこのカテゴリーの内部グループかも。EmVoice、SugarCapeなど【タイプU】UTAUのような制御点を打ってピッチをコントロールするもの。調声スピードは出しにくいが、最も綺麗なピッチカーブが描ける。基本的にはUTAUとUTAUリスペクトの歌声合成ソフトのみが対応している。UTAU、OpenUTAU、UTSUなど【タイプC】CeVIOのようなピッチカーブを直接手描きするもの。感覚的にピッチが描けて、大分自由度が高いが、タイプUの人は特に苦手意識を持ちやすい。マウス操作との相性が悪い。もってノート分割はしない。CeVIO、MUTA、Nakloid、なめうぇーぶ、NIAONIAO、Sharpkey、・SynthVなど調声機能を持たないため、ピッチ調声をVocalShifterなどでやる場合、VSがピッチ手描き系なので、このカテゴリーの下位カテゴリーとしよう。すべての歌声合成でVSは使えるので全部入るといえなくもない。408Twitterで「全部まとめとる奴おらんな?」みたいなトークを見かけたので「おっしゃやったろうこのやろう」と思って書きました。30選とは書いたけど数字はテキトー。・VOCALOID3、4めっちゃ普通の歌声合成ソフト。標準的すぎてどう表現すればいいのか悩む。キャラクター歌声合成に限っていえば、ユーザー数と知名度はおそらく世界最多。・VOCALOID5最新版VOCALOID。ワンクリックでしゃくりが作れたりするので省エネ調声向き。これまでのVOCALOIDと比べてプロDTMERむけっぽさがすごい。V4慣れしてるとこれじゃない感する。Unityゲームとかに組み込む用VOCALOID。使える音源は「ランタイム版Unity-chan!」。無料配布されていたが、正式にはもう配布されてない。EditoriOS上で動くVOCALOID。本体も安いし音源も安いのでiPhoneとかiPad持っている場合は結構おすすめ。iPhoneは画面がちっさすぎるのでiPad推奨。すごすぎて一言では言い表せない。一言で言うなら「多様性の塊」。世界で最も音声ライブラリが多いソフト。・CeVIOベタ打ちでもそこそこいいカンジで歌うので初心者向けなソフト。歌声合成ソフトの中でも最も音素の長さを細かくいじれる。音源によってはしゃべれる。多いが、日本語も歌えるし、フランス語音源もある。実は歌声合成ソフトの中でも最も声質パラメーターが多いものだったりする。・Aquestoneプラグインタイプの歌声合成。MIDIキーボードを使ってリアルタイムに歌わせるのに特化している。いう原始的な歌声合成ソフトを本気でいじり倒して神調教を施すのが最強に楽しい。・Aquestone2Aquestoneの2号機。声はだいぶ違うし、よりシンセサイザーらしい機能が増えている。楽器寄りのソフトなので、デチューンが搭載されてたりポリフォニックに対応してたりする。・Cadencii汎用歌声合成エディター。これ自体はあくまでエディターなので、エンジンや音源を入れないと何にもならない。Aquestone、Aquestone2、VOCALOID2、UTAU等いろんな歌声合成が使える。・DeepVocalしたーのほうにあるSharpkeyの後身。機能は減ってしまっているが、音源制作ソフトとセットで放出されているので、アグレッシブUTAU音源制作ピープルの餌食になっている。・ディレイラマプラグインタイプの歌声合成ソフト。使い方によって毒にも薬にもなる。歌わせているとGUIの僧侶が微妙に動く。・EmVoiceプラグインタイプの歌声合成。英語の発音があまりにも良すぎる。声はすごく良いが、操作性が息していない。操作性はアレだが、なんにしても声がいい。リアルタイム特化型歌声合成ソフト。ピッチ調声は自分の喉で行う。歌声をマイクで拾い、ピッチを抽出。それを音源に適用して歌わせる難しい奴。・LaLaSong東芝の古いソフト。世にも珍しい五線譜で入力するタイプ。発音タイミングは若干危ういが、若干なのでマシ。30くらい触ってればかわいいほう。・MikoVoiceトークもできる歌声合成ソフト。世にも珍しい文字で入力するタイプ。古も古のMIDIシーケンス手打ち文化圏。その時代のソフトというわけではない。基本アプリに組み込む形で使う。・MUTA中国のCeVIOっぽいソフト。前まではしゃべる機能付いてた。ピッチカーブがほかのソフトと違う位置に描画されるのでちょっと混乱する。エディターの色がエグイ。MidiVocalist2000年より前からある歌声合成ソフト。MIDI読み込みでオケを鳴らすこともできるし、音源制作もできる。フォルマントフィルターがないので超多音階音源にしないといけない。・NakloidUTAU音源を読み込める歌声合成。基本はUTAUのようなソフトで、出音が結構硬い。ちなみに「元に戻す」がないので超がんばって。打ち込みは基本UTAUでやってUSTを読み込んだほうがいい。・なめうぇーぶ人力用歌声合成ソフト。UTAU音源も読み込めるが、WAVEファイル群から音素を切り出しまくる機能もある。MIDIキーボードを使えば、おそらく世界で最も高速でベタ打ちができるソフト。・NIAONIAO中国のUTAUっぽいソフト。「人声模倣」というすごい機能があるが、私も含めあまり知られていない。録音した音声からピッチ録れる。・OpenUTAUUTAU音源が読み込めるソフト。GUIがPOPでカワイイ。複数トラック作れるしオケの同時再生もできる。操作性もいいし音も普通にいいけど、再生ボタンを押すと98%くらいの確率で落ちる。・PiaproStudioクリプトン製のVOCALOIDに付属している歌声合成ソフト。Editorと比べるときれいにパラメーターを描けるので気分がいい。・PiaproStudioStandalone初音ミクV4Cを買うと付いてくる歌声合成ソフト。PiaproStudioの単独起動版。PiaproStudioは好きだけどDAWを立ち上げるのはめんどい人向けかと思いきやV4Cしか使えない。・RenoidPlayerブラウザで動く珍しい歌声合成。基本的にはUTAU単独音みたいな出音。ブラウザで動くので、PCでもMacでもスマホでも余裕で動く。スマホ普及時代にこういうSaaSっぽいのは期待できる。・SF2Renoidオフラインでも動く歌声合成。思いきや実はSF2Renoidは歌声合成ではなく、RenoidPlayerで使える音源のこと。RenoidPlayerがなくてもDAW+ピッチシフト系エフェクトで歌わせられる。・Sharpkey中国の歌声合成ソフト。公式配布はもう終わった。世界で唯一別々の母音間でモーフィングができる。VOCALOIDっぽさとUTAUっぽさとCeVIOっぽさとオリジナル成分でできている。・Sinsyブラウザで動く珍しい歌声合成。CeVIOと同じ技術でできているが無料で使える。TUNEが使えるので何も問題ない。・SugarCapeMac専用歌声合成ソフト。なんだかんだMac専用アプリってないのでこれも珍しい。UTAU同様に自作音源を読み込んで使える。開発者の解説動画が面白いというどうでもいい情報。・SaltCaseSugarCapeの後身ソフト。後進だが、割と早い段階で開発が止まっているので、現状SugarCapeのほうが機能が多く安定しているような印象。調声できなくはないが外部ソフト使うと楽。・SynthV英語のクオリティーめちゃ高い歌声合成。最近は商業中国語音源が量産されておる。それももうそろそろ出し尽くした感があるので、次はどんな展開になるのか読めない。・歌うボイスロイド歌わないVOICEROIDをなんやかんやで無理やり歌わせたものを「歌うボイスロイド」という。手作業で気の遠くなる作業をしないといけないが、支援ソフトで50倍くらい作業が楽になる。・UTSUUTAUのようなソフト。基本的な機能はUTAUにほぼ準拠している。単独音形式の歌詞入力でも自動で連続音に対応できたりする。対応言語がやたら多い。・VOCALINA韓国の歌声合成ソフト。VOCALOID4をのぞいて唯一外部エフェクトを読み込めるソフト。珍しいサブスクリプション形式の有料音源がある。専用でもないが動画投稿プラットフォームがある。406DeepVocalは8月4日に、DVTBは12日に更新がかかったっぽいですね。リリースノートとかがないのでよくわかりませんが、ぱっとみ特に機能が追加されたとかでもないっぽいので、おそらくエンジンとか音声モデル作成の精度とかが上がったんでしょう。ちなみにこの記事すべてが憶測です。交叉復活か】そのうち交叉パラメーターが復活するかもという噂があります。交叉パラメーターに関してはこちらの記事で概要をつかんでいただいて、こちらの記事で実際の使いどころを確認してください。こちらの記事を読んでも参考になるかもしれません。実装されればおそらく「モーフィング」という名前のパラメーターになると思います。最強なので、復活してくれれば私が泣いて喜びます。この記事では、Sharpkey稲荷のダウンロードリンクや、実際にモーフィングを使いまくった動画が確認できます。パラメーター追加か】モーフィングとは別にパラメーターが追加されるかもという噂もあります。普通に考えれば、「ブライトネス」「ジェンダー」「パワー」が順次追加されるんじゃないかと思います。この記事を見れば、とりあえずすべてのパラメーターについて復習できます。この記事では、Sharpkey稲荷のダウンロードリンクや、実際に各種パラメーター使いまくった動画が確認できます。【まとめ】Sharpkey稲荷、よくできてると思うんだよね。冗談はさておき、SharpkeyのドキュメントはかなりDeepVocalに使いまわせるので、このブログで記事検索してみるとよい。