y_1$であることを利用している。MNISTのように10個の出力ニューロンが出力層に並べられている場合でも、出力層の1つ1つのニューロンはそれぞれ2値分類をしている。そのため上記の2値分類用のクロスエントロピーを用いて出力層のニューロンの誤差を定量できる。2つの離散確率分布$P(x),\,Q(x)$に対するエントロピー、クロスエントロピー、KL情報量の変化の様子を体感できるデモを用意した。$Q$の形が$P$に近いほどKL情報量が$0$に近づく様子が確認できる。p$$$p/(1-p)$はオッズ(odds)と呼ばれる。実変数$x$をロジットと見立ててシグモイド関数にかけると確率が得られたと見ることができる。ロジットと呼ぶことが多い。[0,1]$の確率の公理を満たさない。そのためこのようなケースでは出力層のニューロンについては出力値を確率を表すように変換してやらなければならない。ニューロンの出力をソフトマックス関数やシグモイド関数に通してからクロスエントロピーの計算をし、誤差を最小化させるという流れが一般的。任意の実数値を取りうる変数を確率的な変数に規格化したい時に用られる。classification(多クラス分類)のニューラルネットの出力層のニューロンの活性化関数として使われるケースが多い。多クラス分類のような複数のクラスから1つのクラスを選択する場合の分類に向いている。classification(マルチラベル分類)のニューラルネットの出力層のニューロンの活性化関数として使われるケースが多い。シグモイドはソフトマックスと異なり、入力されたベクトルの成分の和で個々の成分を割り成分の総和が1となるような規格化は行わない。そのため多クラス分類のようにあり得る複数のクラスの中から1を選ぶような分類には適さない。代わりに、出力層のニューロン個々が独立した確率であるようなマルチラベル分類に適している。exclusiveな値の分類。exclusiveな分類。同じ形状の2つの行列に対して、それぞれの成分を掛けあわせた同型の行列を作る操作。feature)を作る際に利用される。