Commentエントロピーの最大化による正規分布の導出この記事では、エントロピーを最大化する確率分布を求めることで、正規分布$$\mathcal{N}(x|\mu,\sigma)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\{-\frac{1}{2\sigma^2}(x-\mu)^2\}$$を導出する。正規分布はエントロピーを最大化するという点において特別であり、そのために統計学や情報学などの分野で重要な分布として扱われている。ついての詳細は以下を参照。確率変数と確率密度関数また、エントロピーの定義と、確率変数が離散的な場合のエントロピーの最大化については以下を参照。形状によってその値を変えるため、その意味で「関数の関数」として捉えることができる。求めるためには変分法の原理を用いる。いくつかの制限がかかることを考慮する必要がある。\tag{2}$$を満たす。\tag{3}$$を満たす。p(x)\}-\lambda_1p(x)-\lambda_2p(x)(x-\mu)-\lambda_3p(x)(x-\mu)^2]dx$$とおく。\tag{5}$$が成り立つ。2次関数になっていることがわかる。式の2次関数は上に凸となる。x-\alpha^2\beta^2)$$の形に限られる。x-\alpha^2\beta^2)dx$$$$=C\sqrt{\frac{\pi}{\alpha^2}}\exp(\frac{4\alpha^4\beta^2}{4\alpha^2}-\alpha^2\beta^2)$$$$=C\sqrt{\frac{\pi}{\alpha^2}}=1$$より$$C=\frac{\alpha}{\sqrt{\pi}}$$を示すことができる。とき、この条件は満たされる。-f(y)$$より、被積分関数は奇関数となる。積分すると0になるため、上記の条件が成り立つ。\frac{1}{2\sigma^2}$$となる。\frac{1}{\sqrt{2\pi\sigma^2}}\exp\{-\frac{1}{2\sigma^2}(x-\mu)\}$$として、正規分布が導かれた。正規分布が平均値と分散の制約のもとでエントロピーを最大にする理由は、以下のように考えられる。エントロピーは不確定度を表す指標であり、それを最大化するためには、全体にまんべんなく広がった分布であることが望ましい。それでは分散の条件を満たさなくなるため、分布はある程度の範囲に収まっていなければならない。その意味で正規分布は、分散の制約を満たしながら可能な限り広がった分布であるといえる。神経科学を研究している博士学生。Unityを活用して、世界の様々な現象をシミュレート・分析しています。理系分野だけでなく、政治学や社会学も、もちろん分析対象です。コメントをキャンセルメールアドレスが公開されることはありません。SiteOrigin。