Audio人とスマートフォンのような機械の間を取り持つインターフェイスとして、視覚情報の他に聴覚情報、すなわち音声があります。音声によるインターフェイスは、視覚障害者の役に立つだけでなく、ハンズフリーの操作や「親近感」の観点からも有用と言えます。スマートスピーカーに親しみを感じる方も多いのではないでしょうか?こういった音声合成や音声生成において大きな影響を与えたといわれているのがWaveNetです。WaveNetは2016年にDeepMindから発表された研究で、その後の改良版が様々なところで実用化されています。Cloudの多言語対応の音声合成サービスなどがあります。音声合成のデモもあるので、ご興味のある方は試してみてください。I/Oでは、レストランや美容院の電話予約を自動で会話しながら完了させてしまうDuplexのデモが話題になりました(実験は下動画1:10-)。(実際には裏側で本物の人が話していることもある、という噂が出るほどのクオリティでした。(TTS)(自然な音声を文章から生成すること)は、非常に難しいとされてきました。・波形接続TTS波形接続TTSは1人の話者による短い音節のセットから必要なものを結合して合成するものです。実応用の場面では、このように事前に用意した短い音節の集合から必要なものを組み合わせる手法が主流でした。用意していた話者から声を変えたり、抑揚や感情を加えることが難しいという欠点がありました。・パラメトリックTTS一方、話す内容や特徴(声、抑揚など)を入力によって操作できるパラメトリックTTSという方法もありましたが、生成される音声の品質が波形接続TTSに劣るとされていました。WaveNetは、音声の生データをモデリングするパラメトリックTTSで、波形接続TTSよりも自然な音声を生成できるだけでなく、音楽にも応用ができます。音声信号特有の難しさとして、時系列の依存関係が非常に長いことが挙げられます。CD音源は44.1kHz)。convolutionという仕組みを使って受容野が指数関数的に広くなるようにCNNを構築し、この問題を解決しています。convolutionを採用しています。convolutionはユニットの間を”0′′にしスキップすることで、受容野(時系列過去データをどの程度参考にするか)を広げた状態で畳み込みをする演算です。下画像の例では、入力層から順にそれぞれ0、1、3、7個ずつスキップしながら畳み込みを計算します。オンラインでの使用を考慮して、未来のデータを畳み込まないように時系列をシフトさせています。上図がWaveNetのアーキテクチャです。残差ブロックとスキップコネクションをネットワーク全体に採用することで、「より深い学習」と「多様な特徴抽出」を可能にしています。unit)を採用しています。GTUは音声信号に対しては、よく使われるReLUよりも良く機能するとされています。通常の音声信号は16bitの整数値(0-65535)で保存されています。この整数値から直接予測をすることも可能ですが、計算負荷を減らすためにWaveNetでは256クラスのカテゴリ変数に変換し、生成する音声がどのクラスに属するかという分類問題として生成音声の予測を行うアプローチを採用しています。最後に、WaveNetの確率分布は、過去の時系列データに加えて、付加情報hも条件として持っています。x”の確率分布を計算することができます。DeepMind」から聴くことができます。実験には英語(北米)と中国語(マンダリン)の音声を利用しています。スクリプトを与えないで自由に音を生成させた場合、聞いた印象は良かったものの、よく聞くと存在しない音素が含まれました。スクリプトあり(TTS)の実験では、スクリプトの特徴ベクトル(L)と基本周波数の対数(F)を入力に加えました。被験者に5段階で評価させたところ、表のように、L+Fの条件で従来のパラメトリックTTSと波形接続TTSの両方を超える結果となっています。そのほか、WaveNetは音楽の生成、音声認識などでも従来モデルと比較し高い精度を発揮しています。おわりにWaveNetはその後の研究に大きな影響を与え、高速化や音声変換など様々な観点で派生手法が提案されました。音声生成の最新手法MelNetは2019年6月に発表されたばかりのものですが、WaveNetがベースラインに使われています。WaveNetのすごさが伝わってきますね(MelNetのデモもすごいのでぜひ聴いてみてください)。このような技術の応用先は、テキスト読み上げに留まらず、ロボットとの会話や文字を経由しない音声による機械翻訳などと広範です。この記事をシェアするLINE記事の内容等について改善箇所などございましたら、お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。2年AI創薬を研究する学生。CV/NLP/RLなど機械学習を広く勉強しています。ロボット&#...これまで、AIを用いた様々な応用例が報告されてきました。お取り扱いについて株式会社wevnal(以下「当社」といいます。)は、AI-SCHOLAR(以下「本サイト」といいます。)をご利用になる方(以下「ユーザー」といいます。)を遵守すると共に、以下のプライバシーポリシー(以下「本プライバシーポリシー」といいます。)に従い、適切に取り扱うものとします。本プライバシーポリシーにおいて、個人情報とは、生存する個人に関する情報であって、当該情報に含まれる氏名、生年月日その他の記述等により特定の個人を識別することができるもの(他の情報と容易に照合することができ、それにより特定の個人を識別することができることとなるものを含みます。)を意味するものとします。当社は、ユーザーの個人情報を、以下の目的で利用いたします。当社は、ユーザーの同意を得て、以下の提供先に、以下の提供情報内容を以下の手段又は方法で提供することがあります。(1)提供先について登録ユーザーが本サイトにおいて資料の請求、閲覧もしくはダウンロードする場合、その資料の提供元である本サイト掲載企業(当該提供元企業から委託を受けた者を含みます。所属企業ではなく、企業に所属する個人が提供元である場合もあります。)に、以下の情報が提供されます。電磁的な方法による送信また、次に掲げる場合は、関係法令に反しない範囲で、ユーザーの同意なく個人情報を第三者に提供することがあります。一部または全部を外部委託することがあります。委託先における個人情報の取扱いについては当社が責任を負います。当社は、個人を特定できないよう加工した統計データを作成することがあります。当社は、統計データを何ら制限なく利用することができるものとします。して、ユーザーご本人に限り、個人情報の開示、訂正、追加または削除、利用停止、ならびに第三者への提供の停止(以下「個人情報の開示等」といいます)を求めることができるものとします。以下の場合は個人情報の変更等に応じないことがあります。他の法令に違反することとなる場合また、当該個人情報の変更等に多額の費用を要する場合、その他の、個人情報の開示等を行うことが困難な場合であって、ユーザーの権利・利益を保護するため必要なこれに代わるべき措置をとるときは、個人情報の変更等に応じないことがあります。当社サービスは、Cookie及びこれに類する技術を利用することがあります。これらの技術は、当社による当社サービスの利用状況等の把握に役立ち、サービス向上に資するものです。Cookieを無効化されたいユーザーは、ウェブブラウザの設定を変更することによりCookieを無効化することができます。Cookieを無効化すると、当社サービスの一部の機能をご利用いただけなくなる場合があります。当社は、法令等の定めがある場合を除き、必要に応じて、本プライバシーポリシーを変更することができるものとします。プライバシーマークに関して当社は、プライバシーマークの認証を取得しています。パスワードをお忘れの。