長すぎたり、訓練データが典型的なものでなかった場合、学習者は訓練データの特定のランダムな(本来学習させたい特徴とは無関係な)特徴にまで適合してしまう。ドロップアウト当該レイヤーのうちの指定割合だけノードを活性化させるのではなく、各ノードが活性化する確率が与えられる。r(l)j∼Bernoulli(p)rj(l)∼Bernoulli(p)y(l)~=r(l)×y(l)y(l)~=r(l)×y(l)z(l+1)i=w(l+1)iyl~zi(l+1)=wi(l+1)yl~y(l+1)i=f(z(l+1)i)yi(l+1)=f(zi(l+1))この式のrrの部分が具体的にDropoutを表している。レイヤー内の各ノードに設置され、その値はベルヌーイ分布に従う。確率ppで11,1−p1−pで00となる。この場合は、y(l)iyi(l)が確率ppでそのまま次のノードの入力値となり、確率1−p1−pで00を次のノードに与える。訓練時にはこのように、活性化されたノードと不活性化されたノードを持つ状態でパラメーターの更新を行い、テスト時には、そのパラメーターに上記で指定したppを掛ける。式で書くとW(l)test=pW(l)Wtest(l)=pW(l)となる。『複数のモデルの組み合わせ』とは要するに、訓練時に活性化してるノードによってできる異なるネットワークによる組み合わせのこと。nn個のノードがある場合は2n2n個のネットワークができうる。それらのネットワークでパラメータが更新されるため、『複数ネットワークによるパラメーター更新』となっている。ディープラーニングが学習中に、ところどころ参加しているニューロンをランダムにドロップアウトさせるのです。(ここで言うニューロンは、ディープラーニングの各層における、人間の脳のニューロンに当たるものを意味しています)。あらら、ドロップアウトってランダムに枝を無効にするんやなかったっけ??追加の技法(交差検証)統計学において標本データを分割し、その一部をまず解析して、残る部分でその解析のテストを行い、解析自身の妥当性の検証・確認に当てる手法を指す。データの解析(および導出された推定・統計的予測)がどれだけ本当に母集団に対処できるかを良い近似で検証・確認するための手法である。...第1次ブーム60~70’s「推論と探索」「トイプロブレム」で終わり。エキスパートシステム1950年代・機械翻訳はやったけど実用的には至らなかった。