画像生成におけるPixelCNN、音声生成におけるWaveNet・WaveRNNがその例である。学習時は学習データを条件付け(=入力)にできるため、ニューラルネットワーク自体が再帰性を持っていなければ並列学習が容易である(CNN型のWaveNetなど)。ニューラルネットワーク自体に再帰性がある場合は学習時にも系列に沿った逐次計算が必要となる(RNN型のWaveRNNなど)。変分オートエンコーダ[編集]変分オートエンコーダ(VAE)とは、ネットワークA(エンコーダ)が確率分布のパラメータを出力し、ネットワークB(デコーダ)が確率分布から得られた表現をデータへと変換するモデルである。画像・音楽生成におけるVQ-VAE-2がその例である。GAN)とは、ガウシアン等の確率分布から得られたノイズをネットワークA(Generator)がデータへ変換し、ネットワークBが母集団からサンプリングされたデータとネットワークAの出力を見分けるように学習するモデルである。DCGANやBigGANがその例である。flow-based生成モデル[編集]flow-based生成モデルはFlow、Glow、NICE、realNVP等が存在する。活性化関数[編集]詳細は「活性化関数」を参照ニューラルネットワークにおいて、各人工神経は線形変換を施した後、非線形関数を通すが、これを活性化関数という。様々な種類があり、詳細は活性化関数を参照。学習[編集]詳細は「バックプロパゲーション」を参照ニューラルネットワークの学習は、最適化問題として定式化できる。現在最も広く用いられる手法は、勾配法の一種である勾配降下法を連鎖律と共に用いるバックプロパゲーションである。歴史的にも多く用いられており、現在でも研究が進んでいる[1]。実装例[編集]ここでは、3層フィードフォワードニューラルネットワークで回帰を実装する。活性化関数はReLUを使用。バックプロパゲーションを行う。3層フィードフォワードニューラルネットワークのモデルの数式は以下の通り。訓練データで全て数式では縦ベクトル。