@ML_deepディープラーニングの勉強を進める中で有用だった記事を載せておきます。勾配法のまとめ記事postd.cc私のブログにたどり着く以前に、既に知っている方も多いと思います。AdaGradから始まり、Adamまで、現在のディープラーニングに使われている最適化手法をそれぞれ比較してまとめてあります。アルゴリズムも掲載されているため、ここを参考に実装することも可能でしょう。最適化から見たディープラーニングの考え方ci.nii.ac.jpオペレーションズ・リサーチ学会のサーベイ論文です。工学系大学、または大学院レベルの数学がわかれば読み進めることができます。日本語文も詳しいので、数式が分からなくともディープラーニングの学習の概観をつかむには良いでしょう。Adadeltaなどの最適化手法についても触れられていますし、ドロップアウトや畳み込みなどの操作が最適化の観点からどのような効用を持つかなどが述べられています。最適化という観点で機械学習を見直と非常に見通しが良くなります。別個にみえる手法も、繋がりがあること、あるいは最適化しようとしている内容が少し異なるだけであることなどが理解できます。以下の記事はそのことに関してSVMと対数線形モデルを例に紹介しています。»プロフィール自分が勉強していく上で学んだことなどをまとめていきたいと思います。ML_deepスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。