networksはじめに、歌声合成の最先端と聞いて、「ああ、昔なんかで聞いたあの人間っぽい声ね」という感想を持たれ方に、著者からお願いがございます。ページをそっ閉じする前に、下記URLを開いて、合成音声サンプルをお聞きください。SPTKなど)を世に送り出した名古屋工業大学(以下、名工大)と、その名工大発のベンチャー企業「株式会社テクノスピーチ」の面々による英語論文です。名工大とテクノスピーチと言えば、下記の記事にも紹介されている通り、最近ではAI歌声合成をボーカルに起用した世界初のCDがリリースされるなど、話題に事欠かない印象を持ちます。AI歌声合成をボーカルに起用した世界初のCDをリリース。歌声合成技術が人間を超える日は来るのか!?さて、この論文は統計モデルに基づく歌声合成を扱いますが、歌声における時間変動のモデル化には長い歴史があります。features)といったキーワードを正しく理解するために、日本語で書かれた過去の文献も参照されることを強くお勧めします。最先端:1.隠れマルコフモデルによる音声認識と音声合成』は、図解も豊富で非常にわかりやすくお勧めです。CNN)を用いてセグメント単位で変換する手法を提案しています。frequency)などの励振(excitation)パラメータ、音高や音量を周期的に揺らす歌唱表現であるビブラート(vibrato)を用います。length)が挙げられます。normalization)という手法でモデル化します。これにより、合成したい曲のテンポやリズムを忠実に再現した歌声合成が可能になります。推論すなわち合成パートでは、合成したい曲の楽譜から抽出した特徴量を訓練済みのニューラルネットに与えることで、音響特徴量を推定します。MLPG)アルゴリズムを用いることで、より滑らかな音響特徴量系列を求めていましたが、計算が重いという課題がありました。提案手法では、MLPGを用いることなく、高速かつ滑らかなパラメータ生成に成功しています。最後に、生成された特徴量をボコーダ(Vocoder)へ入力することで、新たな歌声を合成することができるという仕組みです。図1が歌声合成システムの全体像となります。次にニューラルネットの構成です。NN)によりフレーム単位で変換します。これは1×1の畳み込みと等価です。出力を1×Tのセグメント(segment)としてCNNに入力し、音響特徴量系列に変換します。ここで、CNNの出力チャンネル数は音響特徴量の次元数に対応しており、Tは1度に変換するフレーム数を表します。FCN)を用いるため、Tは調整可能です。図2がニューラルネットの全体像となります。