投稿者leck_3328TweetPocketインターン先のMICINで論文サーベイしたのでそのまとめ。DeepLearningを使った音声信号処理について総合的にまとめたもの。網羅している感じはあるので最近の傾向とかはこれを読むだけで大体掴める。AdaptabilityReferencesAbstract音声処理のSOTAのレビュー論文。factorizationといった従来の手法を凌駕した。Categorizationどんな出力にしたいかで分類する。sequence)の3つに分類される。value)の3つが各ラベルにおける目標値として分類できる。問題ごとの名称づけそれぞれやり方によって名前をつけていく。その時刻でイベントが発生したかどうか。(特に決まった用語はない)音声以外の入力をするもの。regressionタスクに分類が可能。networks)は最適化の際に一緒に特徴量抽出も行なっていると考えらえれる。[10]において、下層(入力に近い方)における活性化された値は話者に適応された特徴量として考えられ、上層(出力に近い方)はクラスベースの分類を行なっていると考えることができる。MFCCメル周波数ケプストラム係数(MFCCs)がここ何十年か音声データの特徴量表現の主なものとして利用されてきた。離散コサイン変換(DCT)(逆フーリエ変換の代用)DLモデルにおいては、空間的な関係性を破壊し、情報が失われてしまうためDCTは不要と考えられている。音声分野において主流の特徴量。フィルターバンクメルフィルターバンクは、周波数のフィルタリングに使用されるが、人の聴覚特性に影響されたものである。転置(transpotitions)をtranslationとして捉えた表現を用いることの方が好ましいタスクもある。共通因子(共通の関数とか)によって倍音や基音をスケーリングすることによってトーンの変換を行う。これが対数周波数スケールに変化した。(抽出する周波数の大きさに合わせてフィルターの大きさも変化させて得られた周波数のこと)は人の聴覚特性に即したフィルターバンクを生成していると言える。スペクトログラムスペクトログラムはスペクトルのシーケンスのこと。他にも音声生成の際の物理的な性質から他の相関性が存在している。倍音などがその例になる。このような物理的な性質を考慮するために、CNNなどの空間的に局所的なモデルにおいて3つ目の次元を追加して倍音の強さを出力することも可能。各々の周波数帯において、値の分散は異なるので、それぞれの周波数帯において正規化を行うことがある。窓の幅スペクトルを計算するための窓幅は時間的な解像度と周波数的な解像度とのトレードオフの関係にある。短い窓幅であれば時間解像度は上がるが、周波数解像度は下がる。log-melとconstant-Q周波数はどちらも高周波数に対しては短い窓幅を適用することが可能であるが、不均質にぼやけたスペクトログラムを生成することになってしまい空間的に局所的なモデルには適さない。複数のチャンネルで異なった窓幅を適用して抽出した特徴量を使うという手がある。フィルターバンクに頼らない方法このように意図的に設計されたフィルターバンクを頼らず特徴量抽出を単純化するために様々な手法が提案されてきた。結果的にデータ・ドリブンな統計的なモデル学習になった。生の音声データを直接使用し、フィルタ自体もモデルとして学習させるケースもある([20]-[23])。下層レイヤーでlog-メルスペクトルの計算をデータから学習させるよう設計したモデルもある([24])。フィルターバンクを一切使わず、1次元の音声データから回帰モデルを作成した例もある([25])。Models複数のフィードフォワード、畳み込み、再帰層が組み合わせてモデルの可能性を広げている。Networks(CNNs)CNNsは学習可能なカーネルを使って入力を畳み込みを行うことが基本。1次元(時間軸)か2次元(時間-周波数軸)の2つが主流。1次元畳み込みは生の音声データによく使われる。それぞれのカーネルを使用して複数の特徴量マップ(channels)を計算するのが特徴。プーリング層でダウンサンプリングを行う。(畳み込み→プーリング)xN→全結合層(FCN)がよく使われる。受容野それぞれのモデルによって固定されている。([25],[27]-[29])。フィルタ係数の間にゼロの値を差し込むことで、畳み込みのフィルタをカーネルサイズよりも大きい範囲に適用する。dilated畳み込みを重ねれば、非常に大きな受容野を確保することが可能。特定のタスクに対して有効なCNN構造の構築をするための理論は今の所ない([30])。経験的に選ばれている場合がほとんど。大雑把なガイドラインは存在している。少ないデータには少ないパラメータで([31])や、チャンネルの数は特徴量マップのサイズが小さくなるにしたがって増やしていくべきだといったことなど。(RNNs)CNNによる有効な文脈(context)サイズは限られている。RNNsはシーケンスのモデルで異なったアプローチをしている([32])。RNNsは逆方向の再帰も行い、未来方向へも受容野を広げている。従来のHMMsとは異なり、RNNの隠れ層のユニット数が線形に増加すると、指数関数的に表現可能な状態数は増加する。この時、学習に必要な時間はせいぜい二次関数的に増加するのみである([33])。勾配消失RNNは勾配消失は勾配発散に見舞われることがある。LSTM([7])はゲートメカニズムとメモリーセルを一般化て情報の流れを緩和し、勾配問題を解決した。再帰層を重ねる([34])ことや、スパースな再帰層を重ねる([35])ことが音声合成で有用なことがわかっている。時間軸方向と周波数軸方向にLSTMを拡張する。LSTMs(TF-LSTM)([37]-[39])が周波数間の相関をモデルするCNNの代替手段として導入された。CNNとは異なり、F-LSTMsはローカルフィルタや再帰的なつながりを通してtranslationalな普遍性を取得する。TF-LSTMsは時間と周波数方向に拡張しており、ローカルフィルタと再帰的な結合によりスペクトルと一時的な(temporal)もの両方をモデル化することができる。TF-LSTMsはいくつかの課題でCNNsよりも良い成績を出している。([39])しかしながら、計算の並列化がCNNに比べてできないため学習速度が遅い。CNNとLSTMの利用RNNはCNNで出力された値を処理することが可能。Network(CRNN)と呼ばれる。CNNで局所的な情報を取得し、RNNによってそれらを結合する。一時的な文脈を処理する様々な方法が以下の表にまとまっている。Models(Seq2Seq)Seq2Seqは入力のシーケンスから出力のシーケンスを直接出力するモデル。多くの音声処理タスクは本質的にはsequence-to-sequenceの変換タスク。これまで細分化されてたタスクをひとまとめに行うことができる。音声認識の分野では、最終的なタスクは入力となる音声信号を単語のシーケンスとして出力すること。モデと分離して各々を独立に学習させていた([40],[41])。end-to-endでの学習DLモデルでのend-to-endによる学習が盛んに行われている([42]-[47])。語彙集といった予備的な知識や文章の正規化モジュールといった外部情報を一切使わない。全て一色単に学習する。モデルは直接目的となるシーケンスを予測するため、デコードの処理も単純化されている。(CTC)end-to-endで学習するモデルの一例([48]-[51])。RNN-T)を導入した入力と出力のシーケンスをまとめて学習する注意機構のモデルがどんどん主流になってきている([43],[52],[53])。(LAS)がある([54])。(GANs)GANは教師なしの生成モデル([55])。(generator)はいくつかの前提知識から潜在ベクトルにマップしサンプルを生成し、識別器(discriminator)は生成されたサンプルが本物か偽物かを判定する。画像生成ではGANは成功したが、音声分野での利用は限られる。GANは音源分離([56])や楽器変換([57])やノイズ除去([58]-[61])で使われている。Functions訓練に勾配降下法を使う場合、損失関数は微分可能である必要がある。MSE)は2つの音声間の距離の評価に使うことができる。時間方向でMSEを取るのは柔軟性のある評価方法とは言えない。distanceが存在する。損失関数はテイラー展開することもできる。複数の損失関数を組み合わせることも可能。制御された音声合成をするために、変分オートエンコーダ(VAE)の潜在変数を定めておいた範囲に収まるような損失関数を1つ設定し、もう1つは生成された音声の中で制御空間において変化が反映されるような損失関数を設定した([64])。modelinglog-melスペクトラムだと位相情報は失われる。Algorithm([65])によって求めたmagnitudeスペクトラムから見積もることができる。上質な音声を生成するためには位相の精度をあげるだけでは不十分。WaveNet([25])といったNNはlog-melスペクトルから時系列データを生成するよう学習することができる([66])。DNNの各レイヤーでの計算を複素数で行うこともできる([69])。音声解析タスクで入力データとして生の音声データを扱う場合、認知的にも意味的にも全く同じ音声が全く異なった位相の中で現れるといった困難が発生する。些細な位相変化に対して不変な表現手法を使うことが肝要になってくる。これに対して、畳み込み層が時間方向に使われる([20],[21],[23])。十分に多くの隠れユニットを持つDNNレイヤを使う([22])。DataDLの発展には大規模なデータセットが必要。画像分野ではImageNetがある(1400万もの手動でラベリングされた画像)。音声認識の分野では特に英語において巨大なデータセット([71])が存在する。一方で、MusicNet([73])は音階ごとのシーケンスがラベリングされている。他の音楽情報(コードとかビートとか)を含んだラベリングが施されたデータセットは非常に小規模([74])。環境音分類にはAudioSet[9]がある(200万もの音声)。learning画像分野においては転移学習が可能。音声認識において、モデルは事前学習が可能。言語間での転移学習([75])や異なるタスクでの転移学習([76])もできる。転移学習もあるが、そもそもデータセットを増やしたり生成することでデータセットのサイズを大きくすることもできる。既知の合成パラメータとラベルがあれば現実のデータを模倣したデータを生成することができるタスクもある。生成する画像データを徐々に複雑にしていくことが機械学習の手法を理解し、デバッグし、改善する助けになる。生成された画像のみを使って学習をすると、実際のデータに対してはうまく機能しない可能性がある。augmentationはより広い範囲での可能な入力を網羅するためにすでにあるサンプルをいじることで新たなる訓練データを生成する。perturbationと呼ばれるピッチを変化させたり時間を伸ばすことでデータを増やす手法がある([77],[78])。ASR)をする際には、音源データを部屋の反響モデルに通すことで複数チャネルのノイズや反響のあるデータを生成することができる([79])。ピッチ変更はコード識別において有用である([80])。これと時間方向の引き伸ばしやスペクトルでのフィルタリングは歌声の識別や楽器識別に有用である([81],[82])。Evaluation評価基準はタスクによって変化する。(WER)が使われる。WERは予測した単語列と参照する単語列とを並べてみて単語の間違う割合をカウントし、挿入、削除、置き換えの割合によって構成される(分母は答えとなる単語列の長さ)。音楽や音響シーンのクラス分類問題accuracyがよく使われる。curve)が使われる。これらの評価手法の設計では、クラス間の意味的な関係性が考慮される。rateが使われる([84],[85])。ratio([86])のような手法を使って評価される。(MOS)は主観的なスコア。合成された音源(特にスピーチ)を主観的に評価する。Applications具体的な応用例について見ていく。Speech:音声認識は音声ベースのinteractionの前提条件となる。音声認識の歴史は半世紀ほどまでに遡る([87])。ガウス混合モデル(GMM)/隠れマルコフモデル(HMM)がここ数十年の主流モデルだった。2012年にDNNを使ったモデルが何千時間ものデータを使った学習したところ驚異的なWERスコアを出した([3])。networks([91])の他にも、LSTMやGRUは他のフィードフォワードのDNNよりも良いスコアを出した([92])。network)モデルがLSTMのみのモデルよりも良い成績を残した([93])。CLDNNsでは、入力に使われる窓を2次元畳み込みとMAXプーリングで処理する。これにより、信号における周波数の分散を抑えることができ、LSTMへ渡す特徴量の低次元化もすることができる。LSTMで処理された情報はいくつかのフィードフォワード層で計算され、ソフトマックス関数で出力される。HMMなしのsequence-to-sequenceにRNNを使ったモデルによって、HMMなどによる音素状態量を入れる必要がなくなった。baselineを超えた([45])。NNモデルで、エンコーダ部分は従来の音響モデルと類似している。CTCとLASはモデル構造はシンプルではあるが、性能自体は従来のモデルよりもよくなっている([94])。Cortanaこれらのインターフェースは音声となっている。YouTubeの自動字幕にも使われている。音声ベースのアプリケーションが増えていくと、より多くの話者と言語に対してカバーしていくことが寛容となっていく。DLが大きな成功を納めているため、他の分野でもDLよりの流れができている。Music:言語音声に比べると、音楽データは非常に多岐にわたり、豊富。同一の種類の音楽に対しては、時間や周波数軸方向で同様の規則性が働いているが、それにより複雑な依存関係を構築している。低レベル分析(周波数解析など)リズム分析(ビート追跡)ハーモニー分析(キーの検出、メロディーの抽出)高レベル分析(ジャンル分けとか楽器検出)高レベル比較(繰り返し部分の検出、カバーソングの同定など)これらの課題は人力で設計されたアルゴリズムや特徴量を使って取り組まれていた。現在ではDLによって取り組まれている。詳細なリストは[99]に記載されている。detection)に分類される。detectionがある。これは、録音のどの部分が小節や展開のスタート地点なのかを検出する。log-magnitudeスペクトログラムの200msごとの切り抜きデータを使って小節(や展開)の始まりかその最中なのかを予測する小規模なMLPを学習させた(フーリエ変換を使った特徴量を使用しない方が良い結果が残ったらしい)。↑人力で設計されたアルゴリズムよりも良い結果を残した。LSTMを微分フィルタを通したスペクトログラムに対して適用した。スペクトログラムをCNNで処理した結果をさらに改善させた。al.[103]はRNNを使用して検出しようとした。Network(DBN)[104]をネットワークの出力に噛ませている。CRNN(CNN+RNN)を提案し、HMMやDBNを使った後処理の必要性をなくしたが、ビート追跡器を使用している。CNNで解決した([105])。受容野は60秒にまで大きくして、強力なダウンサンプリングを行なっている。detectionでは成功を収めている。時間軸方向で訓練のターゲットがぼやかされると致命的になる([16],[84],[105])。他クラス分類問題コード識別問題がある。(各タイムステップごとの基音とコードのクラスを予測する課題)従来の手法では12音階を元にオクターブを考慮して検出していた([13])。スペクトログラムを使用したモデルで良い成績を残した。[106]はCRNN(2dConv→1dConv→GRU)を使って170種類もの詳細なコードセットを予測した。[107]はlog周波数スペクトログラムを入力に使ったCNNを学習させ、コードだけでなくchromagramを表現する手法を改善させた。シーケンス分類問題テンポ検出が低レベルな問題としてある。ビートとダウンビートの検出を元にするのが自然なやり方([102],[103])。[108]はCNNが12秒のスペクトログラムの切り抜きを入力に与えるだけでテンポの検出ができることを示した。広い課題として、人が音楽の切り抜きを聞いて、どのタグ付けを行うのかという問題がある。タグの種類としてテンポ、ジャンルなどがあるが、曲全体に対して付けられることが常。この曲の切り抜きから曲全体のタグを予想する問題に対してのアプローチがいくつかある。[109]は3秒ほどのlog-メルスペクトログラムを入力として小さな1dConvを適用し、それぞれの切り抜きにおける予測値を平均することで曲全体のタグを予測させた。比較として、生データを入力に使用したが結果はよくなかった。[110]はスペクトログラムを画像に見立てて、3×3のCNNの後にFCNを適用して分類問題をといた。画像分類に比べると、プーリング層がより後の段階で出てくる。局所的な歌声検知が全体の予測性能の向上をさせる目的でmax-poolingを入れた。[111]は音楽の生データに対してCNNを学習させた(kernelサイズは2から4ほどでmax-poolingを使用))音楽分野まとめまとめると、音楽分野においてDLは様々な音楽処理タスクにおいて成功を納めた。その結果として、自動化された産業用のアプリケーションで多岐にわたって使われるようになった。音楽のレコメンド機能や、説明付与など。研究的な側面ではどんな特徴量を入力として使うかや、ネットワーク構造としてCNNやRNNを使うかについては総意が取られていない。この辺りについてはさらなる研究が必要となるだろう。Sounds:スピーチや音楽以外にも、他の音もまた我々の環境に関する豊富な情報を与えてくれる。環境音分析はいくつかの応用先がある。状況を検出するデバイスや、音による監視装置、複数の媒体によるラベル漬けや情報収集などである。これらは主に3つの基本的な取り組みによってなされている。classification)録音データ全体からその録音に対して場面ラベルを付与するのが目的(どんな場面かを予測する)。“家”,”道路”,”車中”,”レストラン”など。detection)様々なイベントの音が検知されている区間(始まりと終わり)を検知するのが目的。イベントとしては足音や信号機の音、犬のほえ声など。単純でかつ効果的な手法として、各時刻ごとのイベントのクラス分類問題を教師あり学習として解くのがある。information)を使用する。Scenes)[112]での基本的な手法となった。RNNが2クラスのフレームごとのイベント検知問題に使われた([113])ように、一時的な情報をモデルした分類器構造が使うこともできる。時間的な解像度を高くするためにはmaxプーリングやストライドのサイズはあまり大きくしすぎてはいけない。poolingが使用できる([114])。information)なしに音声データを複数のラベル付けをすることである。タグ付けやイベント検知において、同時に起こりうる複数のイベントを予測対象とすることがありうる。polyphonicなイベント検知と呼ぶ。この中では、それぞれのクラスはバイナリーなベクトルによって表現される。nonactive)。重複したラベル付けが可能となると、マルチラベルなクラス分類問題になる。同時に起こる複数のクラスを予測するマルチラベルなクラス分類器は各々のクラスに対して単クラス分類器を使うよりも良い結果を残す。これはクラス間の相関関係もモデル化していることによるのではないかと考えられる。音楽やスピーチに比べると研究が盛んでないこともあり、データセットも限られたものとなっている。ほとんどのデータセットはDCASEchallengeの中で出されたもの。augmentationが共通して使われており、効果も実証されている。Tracking:複数チャンネルの音声データは音源の位置推定と追跡のために利用できる。マイクからの入力からなる音源配列は音源の方位や高度推定に使うことができる。複数のマイクからの情報を結合することで、方位情報を結合して場所情報を得ることが可能となる。複数のマイクからの情報を与えられた上での方位推定は2つに大きく分類できる。方位を離散クラス化してクラス分類問題に変える([115])回帰問題として方位を推定する([116])か空間座標を推定する([117])DL構造の違いによって入力される特徴量の違いによってDL構造も異なり、単一なのか複数の音源の位置推定を行うかでも異なってくる。cross-correlation)[117]一般的に、音源の位置推定には複数チャンネルの情報が必要になっている。これらの情報をDLを使って学習することも可能で、チャンネル内での(within-channel)適切な位相情報が必要になってくる。CNNでこれを行うことができる[118]。カーネルは複数チャンネルにまたがっている。Separation:音源分離は単一音源からの音情報のみを抽出する処理のことをさす。現実世界では複数音源の混ざった音声データが取得されるため、これらを分離することは信号処理タスクで良い成績を出すために重要である。音源分離が応用されている分野はロバストなクラス分類のための前処理、スピーチの明瞭化のための前処理、音楽編集やリミックスなどが含まれる。音源分離は以下のように定式化することが可能。サンプルのインデックスとなる。番目の情報だということになる。処理をする理由は主に3つある。使うことでスペクトルの分離を行う。番目のソースを示している。短時間フーリエ変換(STFT)を使って計算される。スペクトログラムを使うこともできる。これら2つの特徴量を使うことは情報の損失などを理由にあまり一般的ではなくなっている。予測する([120])これらの場合のDLは教師あり学習を基礎としている。目標値となるマスクはバイナリーな値をとるか、連続値([0,1])をとる。手法として畳み込みの使用[121]再帰層の使用[122]がある。教師ありのDLを使って各々の時間ー周波数地点におけるembeddingベクトルを計算することを目的としており、これを教師なし的な手法でクラスタリングする[124]上記のアプローチは訓練データに出現しない音源の分離を行うことを可能としている。複数チャネルを使うと、音源の位置情報も加味することができるので音源分離の精度向上を行うことができる。DLを使ったアプローチはいくつか存在する。目標となるスペクトラムや分離マスクをモデル化[126]。このような場合、目的となるのはスペクトル的な特徴、特質をDLヲを使ってモデル化することにある。環境音はそれぞれの音源同士が独立で、情報そのものがスパースなのが特徴。音楽データはそれぞれの音源同士が高い相関を持っている。Enhancement:スピーチ強化の技術はノイズを抑えることでスピーチの質を上げることが目的。ノイズ除去は、明確な手法[129]であれ、暗示的な手法[130],[131]であれノイズに強いASRシステムの構成には非常に重要である。従来の技術[129]直接クリアなスピーチをDNNを使って再構築する[132],[133]ノイズの混じった信号からそれを取り除くマスクを推定する[134]-[136]DL的なアプローチでは従来手法ではできなかった時間依存のノイズをモデル化することが可能となっている。(ノイズありの信号からノイズのないクリーンな信号に変換するタスク)。log-melスペクトルで表現されているスピーチに対してGANが適用された[59]GANによって補強されたスピーチがASRシステムに使われても、あまり効果はなかった。Models:音声データから学習した特徴量を元に、リアルな音声データを合成する。生成される音声データは訓練データとして投入されたものに近いものでなければならない。訓練時間が短い生成時間が短い(理想はリアルタイム)入力として使うデータとしてはスペクトログラム的な表現か生のデータ表現がある。スペクトログラム的な表現は音声合成の段階でGriffin-Limアルゴリズム[65]を逆フーリエ変換[140]と共に位相を再構築する必要があるが、良質な音声データを合成するには至らないこれに対してEnd-to-endの方が良い。covolutionをWaveNetで結合した[25]ものは、扱いやすいサイズに文脈窓のサイズを導いてくれるWaveNetを使うと自己回帰推定はクラス分類問題として捉えることができる。文脈情報を使うことで入力をより拡張することが可能となる[25]。この文脈情報は全体に渡るglobalなものか、時間に沿って変化するものになる。導入されたtext-to-speechシステムが2つのモジュールを構築する[66]。1つはNNは入力となるテキストからメルスペクトルを予測する。1つはWaveNetが予測されたメルスペクトルから合成されたスピーチを生成する。[66]WaveNetを用いたモデルはこれまでの性能から大差をつけた結果を残しているが、学習コストが高い。並列化されたWaveNetの使用によって学習時間の短縮や様々な応用先において合成そのものにかかる時間の短縮に繋がる([66],[143],[144])合成をオートエンコーダ内にある隠れ状態におけるパラメータを使って制御することができる[145]。生成モデルは主観的もしくは客観的に評価することができる。音声の判別のしやすさは分類器を通せば客観的に評価することができる。([141])もしくは人出で主観的に評価を行う。多様性は客観的に評価をすることが可能。音声はlog-melスペクトルを使って正規化することが可能で、2つの音声の多様性は平均ユークリッド距離で評価することが可能。Testは非常に難易度が高い。WaveNetは従来のSOTAであった結合的もしくはパラメトリックな手法よりもより高いMOSスコアを出している。Features従来の手法ではMFCCが最も一般的な特徴量のであったが、log-melスペクトログラムが一番で、生の波形データもしくは複素数のスペクトログラムがDLでは一般的な特徴量として使われている。生の波形データは人手で設計された特徴量を避ける(より良い特徴量をモデルそのものから抽出させるため)計算コストが高く、より多くのデータが必要log-melスペクトログラムを使うと上記のデメリットを克服できる生の波形データを生成するタスクにおいては、スペクトログラムを使用すると大抵の場合、位相情報を再構築する必要がある。一方で、生の波形データを使った方が解析タスクにおいて性能が向上した落ちう結果もある([25],[147],[148])もしくは従来の特徴量を出力するように最初のレイヤーを学習させる研究もある[18],[19],[23],[24]そのため、未だにメルスペクトログラムが最も適切な特徴量かどうかははっきりとしていない。ModelsDLがSVMやGMM-HMMsに取って代わった。methodsによって取り組まれていた音声の補強やノイズ除去はDLによって解決されている。複数分野にまたがって、CNNsやRNNs、CRNNsが使われている。3つのタイプはどれも一時的なシーケンスをモデルすることができ、シーケンスのクラス分類問題や、ラベリング、変換タスクを解くことができる。CNNは一定の受容野をもち、これにより考慮できる文脈情報に制限がかかっている。それと同時に文脈情報をどれぐらいの幅で取得するかを簡単に変更ができる。RNNは理論上では文脈情報を無限の範囲で考慮することができるが、まずはそのよう学習させる必要があ理、モデル構造そのものの調整が困難で有り文脈の考慮する範囲の指定が容易にできない。課題どの状況でどのようなモデルが優れているかは未だにはっきりとしていない。Requirements音声認識用のデータセットを除くと、ほとんどの領域においてデータセットは小規模のものしか存在しない。これが原因で、DLのモデルのサイズを大きくすることも難しい。他分野との対比(転移学習の限界)画像分野ではImageNet[70]で事前学習させることができるので、特定のタスクにおけるデータ数が少なくても対応ができる。分野のような大きなデータセットが音声の世界では存在しない。音声領域で一般的となるようなデータセットを作成することが難しく、転移学習を適用することができない。上記の問題を解決するためにも、限られたデータを有効に活用する方法として、転移学習以外の解決策を模索するべきである。Complexity計算量の増大の利点がDNNの成功によって示された。units(GPGPUs)と呼ばれるもの([151])やTPUのような([8])特定タスク用に設計された回路群もある。限られた計算資源しか使えない場面(スマホのみで計算したいなど)もあるので、そのためにもコンパクトなモデルを開発していくのも価値のあることだ。AdaptabilityDL内のモデルにおいて、特定の箇所がどのようなタスクを解いているのか(どのような情報を抽出しているのか)を解釈することは困難。それぞれのニューロンが目標となるタスクに対してどのような値の変化を示すかを研究した例もある([16],[152])。どの入力によって予測値がされているのかを調査した例もある([153],[154])。References文章中の[]で囲まれた数字が以下の文献に対応しています。ubuntu著者プロフィール。