Distance statistique
# Distance statistique

En mathématiques, et plus précisément en théorie des probabilités et en statistique, la notion de distance statistique sert à mesurer l'écart entre deux lois de probabilité. Les distances statistiques sont notamment utilisées en théorie de l'information, en statistique, en apprentissage automatique, et en cryptologie.

Lorsqu'aucune précision n'est donnée, la « distance statistique » entre deux lois fait généralement référence à la distance en variation totale.

Il existe cependant d'autres notions de distance statistique, plus spécialisées, qui ne sont pas nécessairement équivalentes à la distance en variation totale. Comme il ne s'agit bien souvent pas de distances, au sens des espaces métriques, le terme de divergence est parfois utilisé.

## Familles de divergences

Soit P et Q des lois de probabilité, définies sur un espace $\Omega$, avec P absolument continue par rapport à Q. Pour toute fonction convexe f telle que f(1) = 0, on définit la « $f-divergence^,^,$ » de P par rapport à Q par :

$D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {\mathrm {d} P}{\mathrm {d} Q}}\right)\,\mathrm {d} Q.$

Les choix possibles de la fonction f permettent d'obtenir plusieurs constructions $classiques^,$ :

* la distance en variation totale correspond au choix $f(t)=|t-1|/2$.
* la divergence de Kullback-Leibler correspond au choix $f(t)=t\log t$.
* la distance de Hellinger correspond au choix $f(t)=2(1-{\sqrt {t}})$.

Une autre construction est la « $α-divergence^,$ » qui est plus adaptée aux lois discrètes, et est définie pour tout $\alpha \in \mathbb {R} ^{+}\cup \{\infty \}$ par

$D_{\alpha }(P\|Q)=\lim _{x\to \alpha }{\frac {1}{x-1}}\log {\Bigg\sum _{i=1}^{n}{\frac {p_{i}^{x}}{q_{i}^{x-1}}}{\Bigg )}\,$

Ici encore des choix particuliers de $\alpha$ permettent d'obtenir des mesures de distance classiques :

* la distance de Bhattacharyya correspond (à un facteur multiplicatif près) au choix $\alpha =1/2$$^,.$
* la divergence de Kullback-Leibler correspond au choix $\alpha =1$.

Il existe encore d'autres familles, notamment les β- et γ-divergences et les divergences de Bregman, qui recoupent en partie les deux familles discutées ci-dessus.

## Autres constructions

D'autres distances statistiques n'appartiennent pas aux familles discutées ci-dessus, notamment :

* la distance de Kolmogorov-Smirnov ;
* la distance de Wasserstein ;
* la distance de Lévy-Prokhorov ;
* la distance de Mahalanobis ;
* la distance de Łukaszyk-Karmowski;
* la distance d'Itakura-Saito.
