使い分けに悩んでるこの広告は、90日以上更新していないブログに表示しています。載っていたので軽く読んで勉強した。さんらによって提案された手法。ニューラルネットワークの各活性化関数における出力(activation)の分布が偏っていると色々問題を起こす可能性がある。付近に集中していたりすると勾配消失問題が起こりやすくなるし、かといって他の特定の箇所に集中していても今度は表現力がなくなってしまい複数のニューロンが存在する意味がなくなってしまう。解決法として活性化関数に応じた以下のような初期値設定法が提案されている。具体的には学習係数を適度に大きくし学習の進行速度を上げられる初期値にそれほど依存しない過学習を抑制するなどの利点が。やることはデータ値の平滑化なので計算は難しくない。