Entropia congiunta
# Entropia congiunta

L'entropia congiunta è una misura dell'incertezza associata ad un insieme di variabili casuali.

## Definizione

L'entropia congiunta di due variabili $X$ e $Y$ è definita come:

    $H(X,Y)=-\sum _{x}\sum _{y}P(x,y)\log _{2}[P(x,y)]\!$

dove $x$ e $y$ sono valori di $X$ and $Y$, rispettivamente, $P(x,y)$ è la probabilità che questi due valori valori vengano assunti contemporaneamente dalle variabili e vale:

    $\lim _{P(x,y)\to 0}P(x,y)\log _{2}[P(x,y)]=0$.

Per un numero di variabili maggiore di due $X_{1},...,X_{n}$ la formula si estende a:

    $H(X_{1},...,X_{n})=-\sum _{x_{1}}...\sum _{x_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]\!$

in cui $x_{1},...,x_{n}$ sono valori di $X_{1},...,X_{n}$, respectively, $P(x_{1},...,x_{n})$ è la probabilità che questi valori vengano assunti contemporaneamente dalle variabili e vale:

    $\lim _{P(x_{1},...,x_{n})\to 0}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]=0$.

## Proprietà

### Maggiore o uguale delle entropie individuali

L'entropia congiunta di un insieme di variabili è maggiore o uguale rispetto a tutte le entropie individuali delle variabili nell'insieme

    $H(X,Y)\geq \max[H(X),H(Y)]$
    $H(X_{1},...,X_{n})\geq \max[H(X_{1}),...,H(X_{n})]$

### Minore o uguale alla somma delle entropie individuali

L'entropia congiunta di un insieme di variabili è minore o uguale alla somma delle entropie individuali delle variabili nell'insieme. Questo è un esempio di subadditività. Questa disuguaglianza diventa un'uguaglianza se e solo se $X$ e $Y$ sono statisticamente indipendenti.

    $H(X,Y)\leq H(X)+H(Y)$
    $H(X_{1},...,X_{n})\leq H(X_{1})+...+H(X_{n})$

## Relazioni con altre misure di entropia

L'entropia congiunta è utilizzata nella definizione dell'entropia condizionale

    $H(X|Y)=H(Y,X)-H(Y)\,$

e della mutua informazione

    $I(X;Y)=H(X)+H(Y)-H(X,Y)\,$

Nell'informatica quantistica, l'entropia congiunta è generalizzata nell'entropia quantistica congiunta.

