次元空間への写像になっています。なることを意味します。するとこの写像は以下の図のように表現することが出来ます。3次元空間上の点はそれぞれ2次元の空間上に移されます。逆行列は正方行列(つまり同じ次元から同じ次元への変換)にしか存在しません。それはなぜでしょうか。逆行列というのは「逆写像」のことであり、次元の異なる空間上では要素の数が異なるからです。要素の数が異なるというだけで逆写像は作れなくなりました。3番目の要素がごっそり抜けているわけです。2次元空間は3次元空間の部分集合なわけです。従って、3次元空間から2次元空間への写像は、恐らく被りを持つので単射にはなりません(しかし全射にはなるでしょう)。この時点で全単射ではないので当然、逆写像を作ることもできなくなります。同じ集合に戻すような逆写像が見つからなくても、そこそこ似た集合に戻すことならばできるかもしれません。このとき「似ている」ということを測るためにはそのための概念が必要です。通常はユークリッド距離が用いられます。構成しようと言うことです。赤の矢印で写像した後、緑や黄色の矢印で写像してみて、上手く元の位置に戻ってくる写像を採用するということになります(最小二乗法の形を取る。これは本当はただの結果論である)。この方法で得られる行列を擬似逆行列と呼び、正方行列以外の行列にも定義することができるようになります。擬似逆行列は機械学習でも登場シーンの多い重要な概念です。いう写像を構築することに相当します。調整していくのが学習というわけです。確率的なモデルの場合、直接ラベル集合への写像を獲得するのではなく、そのラベルで確率を出力するように写像を構築します(すなわち確率密度関数の形で写像を仮定しておく)。しておいて、実際にラベルを出力するのは確率を見た後に、確率最大のラベルを選んだり、あるいはどのラベルの確率も低かった場合は保留するなどの追加措置を取ります。準備して、いろいろ調整していくというものです。調整しなければなりません。その際、近づいているか否かを測るために用いられるのが損失関数です。上手く調整する手がかりを得られます。距離を近づけてしまうことで、写像を上手く調整するというのが基本的なスタンスです。分類問題に置いては、識別関数と呼ばれる直接ラベルを出力するタイプの写像を考える場合に最も効果的です。と直接距離を測れない)場合は、少し工夫が必要になります。その写像の調整の賜物です。調整できる損失関数を与えるのはそれなりに複雑な話です。選びたいというふうに捉えることもできます。距離を上手く測ることが重要になるわけです。ここでは写像とは確率分布のことです。真の確率分布と適当な確率分布の類似度を測り、これを損失関数にすれば良いということになります。この手の議論は情報幾何学で行われています。s0sem0y.hatenablog.coms0sem0y.hatenablog.comあるいは確率分布の最尤推定によるフィッティング考えると、自然と損失関数に相当する(負の対数)尤度が得られます。