# 変分ベイズのめも

### 独立な事象の同時確率
xとyが排反である場合
$$
\begin{align}
P(x,y) &= P(x)P(y)
\end{align}
$$ 

 したがって、
 排反なグループが$Z_{i} (i=1,...,M)$に分割されるとき、以下のように定義される。

$$
\begin{align}
q(Z) &= \prod_{i=1}^M q_{i}(Z_{i})
\end{align}
$$

### 期待値
確率変数が取る値を、確率によって重み付けした平均値 

#### 確立分布が一様な場合
$X=x_{i}$となる確率が$p_{i}$であるような確率変数$X$を考えたときに期待値$E[X]$は以下のように定義される 

$$
\begin{align}
E(X) &= \sum_{i=1}^n p_{i}x_{i}
\end{align}
$$

#### 確立分布が一様ではない場合
確立分布$P(x)$に対して、ある関数$f(x)$の期待値は以下のように定義される

$$
\begin{align}
<f(x)>_{p(x)} &= \int p(x)f(x)dx
\end{align}
$$ 

※確立密度関数は積分することで確率が与えられる

### エントロピー
確立分布$p(x)$に対する次のような期待値を以下のように定義する

$$
\begin{align}
H[p] &= -\int p(x)\ln{p(x)}dx
\end{align}
$$ 

エントロピーのように関数を引数にとって、値を返すものを汎関数という

### KLダイバージェンス
関数同士の類似度を測るためのものである。0に近くなるほど類似度は高い

$$
\begin{align}
KL[q||p] &= -\int q(Z)\ln{\frac{p(Z|X)}{q(Z)}}dZ 
\end{align}
$$

$q(x)$に対する$\frac{p(Z|X)}{q(Z)}$の期待値

### 下界
$$
\begin{align}
KL[q||p] &= -\int q(Z)\ln{\frac{p(Z|X)}{q(Z)}}dZ 
\end{align}
$$

3d682bf59662f73d25ba1dcf076c681d4984c356
ipynb
Jupyter Notebook
Bayes_memo.ipynb
taishi107/Bayesian_theory
2c94e328926fb8035ca7f4b838e6f258bfb0c736
MIT
Bayes_memo.ipynb
taishi107/Bayesian_theory
2c94e328926fb8035ca7f4b838e6f258bfb0c736
MIT
Bayes_memo.ipynb
taishi107/Bayesian_theory
2c94e328926fb8035ca7f4b838e6f258bfb0c736
MIT
Qwen/Qwen-72B
1. YES
2. YES