Loi de Dirichlet
# Loi de Dirichlet

En probabilité et statistiques, la loi de Dirichlet, souvent notée Dir(α), est une famille de lois de probabilité continues pour des variables aléatoires multinomiales. Cette loi (ou encore distribution) est paramétrée par le vecteur α de nombres réels positifs et tire son nom de Johann Peter Gustav Lejeune Dirichlet. Elle est vue comme la généralisation multinomiale de la loi bêta.

## Densité de probabilité

La loi de Dirichlet d'ordre K ≥ 2 de paramètres $α_1,$ ..., $α_K$ > 0 possède pour densité de probabilité :

    $f(x_{1},\dots ,x_{K};\alpha _{1},\dots ,\alpha _{K})={\frac {1}{\mathrm {B} (\alpha )}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}$

pour tous les $x_1,$ ..., $x_K$ > 0 vérifiant $x_1$ + ... + $x_{K-1}$ < 1, où $x_K$ est une abréviation pour 1 – $x_1$ – ... – $x_{K–1}.$ La densité est nulle en dehors de ce simplexe ouvert de dimension (K − 1).

La constante de normalisation est la fonction bêta multinomiale, qui s'exprime à l'aide de la fonction gamma :

    $\mathrm {B} (\alpha )={\frac {\prod _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma \left(\sum _{i=1}^{K}\alpha _{i}\right)}},\qquad \alpha =(\alpha _{1},\dots ,\alpha _{K}).$

## Propriétés

Soit $X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha )$, signifiant que les K – 1 premières composantes possèdent la distribution précédente et que

    $X_{K}=1-X_{1}-\cdots -X_{K-1}.$

Posons $\textstyle \alpha _{0}=\sum _{i=1}^{K}\alpha _{i}$. Alors

    $\mathrm {E} [X_{i}]={\frac {\alpha _{i}}{\alpha _{0}}},$

et

    $\mathrm {Var} [X_{i}]={\frac {\alpha _{i}(\alpha _{0}-\alpha _{i})}{\alpha _{0}^{2}(\alpha _{0}+1)}},$

En fait, les densités marginales sont des lois bêta :

    $X_{i}\sim \operatorname {Beta} (\alpha _{i},\alpha _{0}-\alpha _{i}).$

Qui plus est,

    $\mathrm {Cov} [X_{i}X_{j}]=-{\frac {\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}(\alpha _{0}+1)}}.$

Le mode de la distribution est le vecteur $(x_1,$ ..., $x_K)$ avec

    $x_{i}={\frac {\alpha _{i}-1}{\alpha _{0}-K}},\quad \alpha _{i}>1.$

### Agrégation

Si $X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{K})$,alors $X'=(X_{1},\ldots ,X_{i}+X_{j},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{i}+\alpha _{j},\ldots ,\alpha _{K})$. Cette propriété d'agrégation permet d'obtenir la distribution marginale de $X_{i}$ mentionnée plus haut.

## Distributions associées

* Si, pour $i\in \{1,2,\ldots ,K\},$

       $Y_{i}\sim \gamma (\alpha _{i},1),$, où γ désigne la distribution Gamma, indépendamment
    alors
       $V=\sum _{i=1}^{K}Y_{i}\sim \gamma \left(\sum _{i=1}^{K}\alpha _{i},1\right),$
    et
       $(X_{1},\ldots ,X_{K})=(Y_{1}/V,\ldots ,Y_{K}/V)\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{K}).$
    Bien que les $X_i$ ne soient pas indépendants, ils peuvent néanmoins générer un échantillon de $K$ variables aléatoires, distribuées selon une distribution Gamma. Malheureusement, puisque la somme $V$ est perdue lors de la génération de X = $(X_1,$ ..., $X_K),$ il n'est pas possible de retrouver les variables Gamma initiales.
* Les marginales d'une loi de Dirichlet sont des lois bêta :

       $X_{i}\sim \operatorname {Beta} \left(\alpha _{i},\sum _{k=1}^{K}\alpha _{k}-\alpha _{i}\right).$

## Génération de (pseudo-)nombres aléatoires (RNG)

Une méthode pour obtenir un vecteur aléatoire $x=(x_{1},\ldots ,x_{K})$ à partir de la distribution de Dirichlet de dimension K de paramètres $(\alpha _{1},\ldots ,\alpha _{K})$ est fournie par la remarque précédente. Tout d'abord, on tire K variables indépendantes $y_{1},\ldots ,y_{K}$ selon des distributions Gamma, chacune avec la densité

    ${\textrm {Gamma}}(\alpha _{i},1)={\frac {y_{i}^{\alpha _{i}-1}\;e^{-y_{i}}}{\Gamma (\alpha _{i})}},\!$

et on pose finalement

    $x_{i}=y_{i}/\sum _{j=1}^{K}y_{j}.\!$

## Interprétations intuitives des paramètres

### Découpage d'une ficelle

Une illustration de la distribution de Dirichlet apparaît lorsque l'on désire découper des ficelles (toutes de longueur initiale 1.0) en K pièces de différentes longueurs, et où chaque pièce a, en moyenne, une longueur désignée mais cette longueur est autorisée à varier. Les valeurs $α/α_0$ spécifient les longueurs moyennes des découpes résultant de la distribution. La variance (disparité autour de la moyenne) varie inversement avec $α_0.$

### Modèles d'urne et simulations du cas particulier des urnes de Pólya

Considérons une urne contenant K couleurs différentes. Initialement, l'urne contient $α_1$ boules de couleur 1, $α_2$ boules de couleur 2, etc. Procédons alors à N tirages dans l'urne suivant ce protocole : chaque boule tirée est replacée dans l'urne et on y ajoute une boule supplémentaire de même couleur. Lorsque N devient très grand, les proportions des boules de différentes couleurs sont distribuées selon $\operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{K})$.

Notons que chaque tirage modifie la probabilité d'obtenir une couleur donnée. Cette modification s'atténue d'ailleurs avec le nombre de tirages, puisque l'effet marginal de l'ajout d'une boule supplémentaire diminue avec l'augmentation du nombre total de boules dans l'urne.

