機械学習のより深い理解に必要な数学の基礎についてまとめます。2017/3/11現在加筆中です。内容は適宜追補します。al.(2016)を踏襲します。variablesで覚えると理解しやすい。ただの取りうる値がランダムな変数。厳密に言うと確率変数$X$は標本空間$\Omega$から可測空間$E$への可測関数。身近な例ではコイン投げにおいて、標本空間$\Omega$は'表'と'裏'の2つの元を持つ集合ととれる。'裏'=0と標本空間の元に数を割り当てる。この時標本空間に対応づけられている$\{0,1\}$が確率変数$X$の取りうる値の集合となる。確率変数は離散値をとる場合と連続的な値をとる場合の2種類ある。確率変数が離散的であるとは$X$の個数が有限または可算無限であることをいう。確率変数が連続的であるとは$X$の個数が非可算であることをいう。$X$の起こりやすさを表した関数。確率変数が離散的であるか連続的であるかによって確率分布関数の性質は異なる。確率密度関数)と呼ぶ。PMFを考えるとき、一般に確率分布関数は大文字の$P$で表記される。PDFを考えるとき、一般に確率分布関数は小文字の$p$で表記される。$$$P(X=x)$は事象$x$の起こりえる確率をそのまま表す。$$$p(x)$は離散確率分布と異なり事象$x$の起こりえる確率を直接表さない。拾い上げる確率は限りなくゼロに近いため。Distribution)がある。表される確率密度関数である。区間の長さのみによって確率が決まる非常にシンプルな分布関数である。特徴surprisalとも言う。情報の量を定義するために用いられる概念。$P(x)=1$、つまりわかりきっている情報は情報量ゼロとなる。まれな情報ほど自己情報量$I(x)$が大きい。標本空間全体の情報量を定量することができる。P$とすると、エントロピーは$$H(P)$$とも表記される。起こりうる事象の数を固定すると、分布関数の選び方によってエントロピーの大小が変わる。a個の事象を考えるとき、それぞれの事象の確率が等しく$1/a$である一様分布はこの事象のエントロピーを最大にする分布である。これは事象の不確定さが最大ということを意味する。不確定さが小さくなるほどエントロピーも小さくなる。特徴2つの確率分布が互いにどれだけ異なっているかを表す指標。$D_{\text{KL}}$で表記される。$D_{\text{KL}}(P||Q)=0$となるのは全ての$x$において$P(x)=Q(x)$となる場合のみ。確率分布が互いに全く同一であるときにカルバック・ライブラー情報量は$0$になる。Divergenceを使うと下記の式で表せられる。Functionの場合、誤差の最小値は0となるがクロスエントロピーを誤差関数とする場合はその値の最小値はゼロとはならない。Divergenceを最小にすることは同義でありこの場合は最小値はゼロとなる。いったときには誤差の測定に$H(P,Q)$と$D_{\text{KL}}$のどちらを使おうとしているのか注意が必要。機械学習では入力がk個のクラスのうちどれに該当するか判定する場合に誤差関数として採用されることが多い。Classification)を例として考える。