隠れ層から出力層にかけての計算ではReLU関数が活性化関数として使われていないことに注意する必要があると思います。個のパラメータをもつニューラルネットワークを構成することは容易です。場合についても議論されています。こちらについても、詳細は論文をご覧ください。generalization」の一部を紹介・追試しました。ニューラルネットワークはラベルをランダムに変更して学習しても、訓練誤差を0に収束させることができます(できることがあります)。あれば、2層のニューラルネットワークで完全に表現することができます。論文では他にも正則化についてなど述べられています。詳しくは元の論文をご覧ください。ツイート#Keras#Python#ニューラルネットワーク#深層学習tmtkデータ分析と機械学習とソフトウェア開発をしています。アルゴリズムとデータ構造が好きです。