通常、それぞれ負例と正例などと呼びます。この符号は、両者を区別する便宜的なものであり、数値に明確な意味があるわけではないことは意識しておいてください(故に単純に値を見ることに意味が見出だせない)。この際の損失関数はと定められます。符号が「負」なら「−1」を「正」なら「1」を返す関数としておきます。符号が一致しているならば損失は0(すなわち分類が成功)であり、符号が一致していなければ損失は1」ということです。ここで見ているのはあくまで「符号」であることに注意してください。「10000000」を出力して正例だと分類しても、「0.00000001」と出力して正例だと分類しても構わないということです。分類を誤る場合においても、どのような大きさの値を出力しようが与えられる損失は「1」であることに変わりはありません。0-1損失の問題点と代理損失この0-1損失関数の問題は、既に気づかれていると思いますが、分類がギリギリ成功するケースと余裕を持って成功するケース、あるいは同様に失敗するケースに関して区別をできない点です。注意して欲しいのは、だからといって分類がギリギリのものと、余裕をもって分類できるものに明確に損失の差を与えるのは必ずしも得策ではないということです。仮に分類が成功したとしても、境界ギリギリだった場合に強く損失を与える方法を考えた場合には、「既に分類に成功しているようなデータを更に確実にすること」ばかりに学習が集中してしまう場合があるためです。本来の目的は正しく分類をすることです。学習を行うにおいて本質的な問題点がまだあります。勾配法を今後応用する場合は、損失関数の微分が必要になりますが、この損失関数は微分値が常に0になるという状態であり最適化に適していません。これらを解決するために、通常の学習では「代理損失」というものが使われます。この値は非常に以下に示すように良い性質を持っています。「分類成功時に正となり、失敗時に負になる値」となります。ロジスティック損失ロジスティック回帰で用いられる損失関数です。中身は先に述べたとおり正解と出力の積であり、分類に成功すれば「正」であり、失敗すれば「負」の値をとります。これは分類に成功しても、境界面ギリギリである場合には小さな損失を与えます。なることはありません。なることはありません。分類が失敗しているケースに置いて非常に厳しい(非常に大きな値の)損失を与えます。ヒンジ損失サポートベクターマシンで用いられる損失関数です。これは分類に成功したとしても境界面付近である場合には損失を与えますが、一定以上離れた場合には損失を0にする働きがあります。領域を二次関数に変えて繋げたものです。