有効ではないため、双方は同一の関連を意味する。ε)における確率モデルとなる。function)を記述できる。\phi_i(x_i)$$は各ノードに割り当てられたエネルギーを意味する。x_j)$$は各リンクの結合に割り当てられたエネルギーを意味する。関連の重み付けを表現している。エネルギー関数はコストを最小限に抑えるべく最適化される。この関数の出力値は常に低くなるように設計される。言い換えれば、この関数はエネルギーをより低く計算できるようにxを学習していく。model)」として知られている。transition)を分析するために設計された確率モデルである。強磁性体とは、磁石として機能する物質を意味する。その特徴は温度によって不連続に変異する。臨界温度以上であれば、外部から磁場を外場として加えない限りは、磁化は生じない。臨界温度以下では、外場をどれほど0に近付けても、磁化が弱まることが無い。magnetization)」という。相転移という現象は、この磁化の作用のように、外部環境のパラメタが変化することで物質のマクロな特徴が変化することを指す。イジングモデルは強磁性体の構成要素となる原子・分子水準の「スピン(spin)」と呼ばれる弱い磁石の性質に着目した確率モデルである。強磁性という特徴は、このスピンの向きに対するマクロな観点によって区別される。Law)」によれば、一般に粒子上の磁力は次のようになる。q\vec{v}\vec{B}$$ここで、qは粒子の電荷を意味する。vベクトルは粒子の速度を意味する。A^{-2}$$は、真空の透磁率を意味する。current)で、周辺磁場を生成する。Cは電流経路を意味する。$$d\vec{l}$$は経路の長さの要素を表す。rベクトルは経路上の点からの変位を意味する。moment)」を発生させる場合、あるいは「スピン(spin)」を生じさせる場合に、この関連は複合化する。通常の強磁性体は鉄やニッケルで構成されているが、周辺磁場が存在する必要が無いという点では特殊である。強磁性体の各スピンは、互いにその隣接するスピンと同一の方向を志向する。自発的磁化が生じるのは、このスピンが整序された場合である。いえイジングモデルにおけるスピンのモデルは単純化されている。それはある軸に準拠した格子状の量として記述されており、それぞれ平行を表す+1か反平行を表す-1の二値しか取り得ない。隣接するスピンは互いに影響を与え合う。各スピンは外場の影響も受容する。した特徴は、ハミルトニアン(Hamiltonian)のエネルギー関数により、次のように定式化される。h\sum_{i}x_i$$ただしJ>0となる。(ij)は格子状で隣接する接格子点の対を意味する。Jは隣接する対の相互作用を表すのに対して、hは外場の強さを表している。Jが正の値であることが、強磁性に対応している。熱力学的に言えば、エネルギー保存則により、仕事が介在しない限り、物質はエネルギーの低い状態を好む。0であれば、スピンの対の積となる$$x_ix_j$$が正の値となる場合にエネルギーは低下する。エネルギーが最も下がるのは、全てのスピンが+1になっている場合か、全てのスピンが-1になっている場合となる。0の場合、$$x_i$$と$$x_j$$は同値になる確率が高まる。0の場合は異なる値を取る確率が高まる。0の場合は$$x_i$$が1となる確率が高まる。distribution)」としても設定されている。この分布は物理学において分子速度分布を与えるマクスウェル分布を汎化したマクスウェル=ボルツマン分布として位置付けできる。x)$$の値を1にする規格化定数をZとするなら、マルコフ確率場は当該エネルギー関数の値をより低くするxがより高確率で出現するように調整された確率モデルとして表現される。machine)」はこの特殊事例として簡単に記述できる。x_j)$$とするなら、ボルツマンマシンのエネルギー関数は次のようになる。\}$$ここで、bは各ノードに割り当てられたバイアスパラメタを意味する。Wは各結合の重み付けを表すパラメタとなる。w_{ji}$$となる。ボルツマンマシンは以上のエネルギー関数の変換を前提として設定される。\right)$$ここでもZ(θ)は規格化定数となる。バイアスパラメタの機能バイアスパラメタbは、諸要素に紐付けてエネルギーの高低を振り分ける機能を有している。これは正負の区別を導入することで簡明となる。1$$が比較的エネルギーが低くなる。0$$が比較的エネルギーが低くなる。そのため、bを調節することでxの値の出現確率の偏りを制御することが可能になる。重みパラメタwは、諸関連すなわち各リンクに紐付けてエネルギーの高低を振り分ける機能を持つ。これもまた正負の区別から簡明となる。1$$の時にエネルギーが比較的低くなる。x_j$$の時にエネルギーが比較的低くなる。network)」を拡張した確率的ニューラルネットワークとして位置付けできる。ε)上の各ノードのそれぞれをニューロンとして見立てたニューラルネットワークを意味する。無向グラフの各リンクがニューラルネットワークにおける結合関連を表し、ニューラルネットワーク上の信号が無向グラフ上のリンクを表す。このニューラルネットワークはボルツマンマシンと同様のエネルギー関数を持つ。0$$の区別が導入される。各ノードiは0か1かのいずれかの値を持つ。N(i)}^{}w_{ij}x_{j}$$という形式で信号を受信する。N(i)はノードiと結合された他ノードの集合を表す。0$$ならばノードiは発火する。この確率をモデル化したのがホップフィールド・ネットワークとなる。\exp(\lambda_i)}$$という条件付き分布を算出する。belief)」と呼ぶ。この条件付き分布はλを受け取った時点でのノードiの発火状態と非発火状態の分布を表す。\sigma(\lambda_i)$$となる。distribution)を有する。時間が経過しても確率過程の分布は変異しない。分布は一貫してボルツマン分布となる。枠組みにおける問題解決策として機能する。ボルツマンマシンは、観測したデータ点の集合によって仮定した学習モデルをパラメタθの調節によって構成することで、未知なる生成モデルに近似していくことを以って学習していく。variable)の区別を導入することで設計される。variable)とも呼ばれる。可視変数は観測したデータ点に直接的に関連付く一方で、潜在的な隠れ変数は必ずしも紐付かない。effects)」を伴わせる内部のメンバ変数であると言えるだろう。この変数は、観測することで入力されたデータ点とは別の内部的な関連から出力に影響を及ぼすのである。ボルツマンマシンの学習は大別して可視変数のみの学習と隠れ変数も含めた学習に区別される。可視変数のみのボルツマンマシン学習は全ての確率変数を観測したデータ点との関連から計算する。隠れ変数を含めたボルツマンマシン学習は更にこれよりも複合的な計算によって実現する。\Omega}$$となる。以下では、この観測データ点の集合を参照することでボルツマンマシンの学習を実行することを想定する。エネルギー関数を利用したボルツマンマシン学習は以下のように計算されるのであった。\}$$を有した確率モデルとなる。ボルツマンマシンの学習では最尤推定法が採用される。v^{(μ)}|\theta)$$となる。\ln{P(v^{(μ)}|\theta)}$$となる。枠組みで求められる問題解決策は、観測データ点集合を参照することで生成モデルを再現する方法に他ならない。故にこの最尤推定法の採用によってボルツマンマシンに要求されるのは、観測データ点集合Dを最も高い確率で生成することとなる。この要求を満たすボルツマンマシンが、生成モデルに近似されるモデルとなると考えられる。対数尤度関数の最大点におけるパラメタθの勾配は0となる。\sum_{V}^{}(f(v))P(V|\theta)$$Eはボルツマンマシンにおける期待値を表している。=0$$が成立する場合となる。故に対数尤度関数の最大値は次の連立方程式の解となる。E_{P(V|\theta)}[V_iV_j]$$この方程式において、左辺は観測データ点の標本平均を意味する。双方とも観測データ点集合を参照することで得られることから、まさに可視変数と言える。右辺はボルツマンマシンの期待値となる。この連立方程式が言い表しているのは、観測データ点の標本平均にボルツマンマシンの期待値を近似させることに他ならない。この近似を以って、ボルツマンマシンは学習したことになる。equation)」と呼ばれる。「隠れ変数なし」のボルツマンマシンの組み合わせ爆発ボルツマンマシンの学習方程式を解くことは解析的に困難とされる。method)で反復的に解析されることとなる。重要な問題となるのは学習方程式における期待値だ。ボルツマンマシンにおける期待値の計算は全ての確率変数の可能な組み合わせの総和となる。n個の確率変数を持つボルツマンマシンにおける期待値の計算は$$2^n$$の項の和の計算となる。そのためボルツマンマシンの計算量はnに比例して爆発的に増加する。explosion)」の問題として設定される。そのため、学習方程式では期待値計算それ自体もまた近似によって実施される。近似を求めれば良いという訳ではない。これに加えて、勾配上昇法で反復的に計算する以上、1回のスループットの速度も向上させられるような近似値計算法が求められる。何らかの理由から観測データ点の諸要素の一部が欠損して得られない場合や、そもそもデータ収集が不十分である場合、「可視変数のみ」のボルツマンマシンでは学習を実施することができない。一部のデータが不可視であることを前提とした学習方程式が必要になる。n個の諸要素で構成された観測データ点がN個、観測したデータモデルから独立に生成されたとする。m)個の確率変数を持つと仮定する。この場合、mは隠れ変数の個数に等しい。m個分のデータ点が観測したデータ点に対応しないということだ。この対応しない変数が隠れ変数となり、対応する変数が可視変数となる。ボルツマンマシンでは、これらの可視変数と隠れ変数がそれぞれノード番号の集合として表現できる。