どのような要素を取るかによって決定されます。どのように準備するかこれが例えばサポートベクターマシンであったりニューラルネットワークであったりしてきます。非常に大きく取ります。ニューラルネットワークはユニットを増加させることによって、サポートベクターマシンはカーネル法を用いることによってこれを実現します。探す際の指針となります。回帰、分類のいずれも複数の損失関数が提案されています。損失関数をどのように設計するかによって、意外と学習の結果は変わるものです。するかニューラルネットワークの場合は勾配法が用いられ、勾配の計算には誤差逆伝搬法(後方自動微分)が用いられます。サポートベクターマシンは損失関数が凸関数になるため、速さを追求したアルゴリズムが求められます。ニューラルネットワークでは損失関数が凸でないため、勾配法で得られた勾配をあれこれ加工して、上手く最適解に素早く落ち着くような工夫がなされています。あることを忘れてはなりません。変わるということになるのです。実用上ここが非常に重要なポイントになるということは、強調しすぎるということはありません。選ばれるか具体的に決まってきます。ここで嫌な問題が浮上します。一対一に対応しません。このような被りは、ユニットの数が増えるほど顕著です。これはさほど問題ではありません。パラメータをベクトルと見た空間上で見た際には、この被りは対称性を有しており、明らかであるためです。1つの問題は(恐らく)多層化することから現れます。一切変化しない領域が生まれます。この領域にパラメータが差し掛かった時点で学習は停滞します(勾配法では勾配が0になると学習が止まる。変化しないということである)。これを解決するためにモーメンタム法やAdamなどが考案され、そこそこ成果を出しているが、実際には本質的な解決であるとは言い難いです。不要な被りがあるわけで、この被っている部分は1つの要素として見てしまうことができれば話は早いです。なる集合(部分集合、あるいは部分空間)を考えれば良いということになります。直線的に存在するわけではありません。この被りを1つの要素と見た場合には、部分空間は線形部分空間ではなくなります。この手の議論は情報幾何学の分野になってきます。»プロフィール自分が勉強していく上で学んだことなどをまとめていきたいと思います。ML_deepスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。