大きな特徴としてこの「近さ」を確率分布によって表現することが挙げられます。ついて紹介したいと思います。厳密さよりも分かりやすさを重視した説明なので、詳細を知りたい方は原論文をご覧ください。アルゴリズムSNEでは、確率を用いて「近さ」を表現します。距離を以下のように定義します。以下のように定義されます。学習の目的を振り返ると、高次元空間上のデータ間の「近さ」と低次元空間上のデータ間の「近さ」を出来る限り同じ様にする事でした。近づけてやればよいわけです。ともに確率分布ですから、これらの間の距離を測る指標として、KL(カルバック・ライブラー)情報量を利用します。座標を更新していきます。紹介していきたいと思います。改良点は主に2点となります。分布の導入に関して説明します。限らず、高次元空間にあるデータポイントを低次元空間におけるデータポイントで表現する際、データポイント間の「近さ」を完全に一致させることは難しいです。配置され得る範囲が広くなってしまう問題があります。圧縮後の空間では、圧縮前の空間上で近くにあるデータポイント同士が近くにまとまり、そうでないデータポイントはまとまりに混じらないように配置される事が理想なので、この問題の影響を極力排除する工夫が必要となります。分布は正規分布に比べて裾が重いため、高次元空間において距離の遠いデータポイントのペアを、低次元空間でも遠くなるよう配置する事ができるのです。次に、「近さ」の対称化に関して説明します。同じ値ではありませんでした。とで「近さ」の指標が違うという事です。これによりKL情報量の最小化が難しくなってしまうという問題がありました。KL情報量は以下の様になります。アルゴリズムの概要です。様々なプログラミング言語に対応したパッケージが用意されています。高速かつ省メモリで実行可能な手法です。行うことで計算時間を節約するためであり、原論文でも推奨されているテクニックです。