正則化ここで説明するテクニックはすべて簡単に説明できます。この単純さはそれらの有用性を隠し、少し誤解を招く可能性があります。私たちがここで行っているのはコンピュータサイエンス、つまりプログラミングであることを忘れないでください。Momentum勾配降下における運動量は、物理学における運動量のように働く。あなたがすでに特定の方向に動いていたならば、あなたはその方向に動き続け、あなたの運動量によって進められます。運動量は最後の体重変化として定義される。次の重みの変化は、重みに関するコストの勾配と運動量の両方の関数です。dwここで、muは運動量パラメータと呼ばれます(通常は0.99前後に設定されます)。これを次のように単純化することができます。時間とともに減少します。10エポックごとに学習率を半分にすることができます。kt)もう1つの方法は指数関数的減衰です。exp(-kt)より現代的な適応方法はAdaGradです。これは重みの変化のキャッシュをこれまでのところ保持することを含みます。各重みの各次元には独自のキャッシュがあります。Numpyの規約に従って、要素ごとの乗算があることに注意してください。-10のような小さな数です。研究者達はAdaGradがしばしば勾配が大きくなりすぎることを発見しました。RMSpropはAdaGradに似たもう1つの方法で、キャッシュが「リーク」しています(つまり、以前の値のほんの一部しか保持していません)。2そして、重み更新の公式は変わりません。コメントをキャンセルメールアドレスが公開されることはありません。今年も資産運用を頑張る。