(22)\]のように荷重結合の更新量が得られました。ここでは次式を利用しています。(23)\]従って、式(13)と同様に、p回の更新によって、入力層と隠れ層の間の荷重結合\(w_{ji}^p\)は、次式のように表されます。(24)\]式(13)と合わせると、全ての結合荷重が算出できました。これがニューラルネットワークの誤差逆伝播で行うパラメータ更新の内容です。多くのデータを用いて学習させ、結合荷重を収束させて、決定することが出来たならば、それを用いてニューラルネットワークの式(1)~(4)を構築します。新たな入力データに対してフィードフォワードの計算することで、簡単に出力を得ることができます。その出力は、新たな入力データを過去データに基づいて判断した答えというになります。Minimum)に落ち込み比較的小さい値を示すものの、その後の新規データに対してはEの値が大きく、結果がよくないことがしばしば起こります。これを過学習(overfitting)と言います。この過学習を防ぐための工夫について、次回お話します。---------------------------<お勧め書籍>機械学習について丁寧に書かれた良書です。本格的に勉強したい人には必携のお勧め本です。(a6)\]Softmax関数はその層にある全ユニットの出力値の合計を分母とし、注目ユニットの出力を分子に持っています。これは全てのユニットの出力合計を1に規格化するためであり、出力を確率に変換する際などに利用されます。Network)があります。人工ニューラルネットワークは、脳の神経細胞ニューロンの構造を真似て作成したもので、複数のニューロンが存在する層を積層し、異なる層のニューロンを接続して信号を伝達します。今、\(p\)番目の層(\(p\)層とする)の\(j\)番目のユニット(ニューロン)について考えます。\(p-1\)層の\(i\)番目のユニットの出力を\(x_i\)とすると、これに重みパラメータ\(w_{ji}^{(p)}\)を乗じた項の線形和\(a_j\)が\(p\)層の\(j\)番目のユニットへの入力となります。(1)\]ここで、\(w_{ji}^{(p)}\)は\(p-1\)層の\(i\)番目のユニットから\(p\)層の\(j\)番目のユニットへの重みパラメータ\(w\)を表しており、\(a_j\)は活性と呼ばれます。\(p\)層、\(j\)番目のユニットへの入力\(a_j\)は、微分可能な非線形活性化関数\(h()\)により出力\(z_j\)に変換されます。(2)\]ここでは\(i=0\)の時、\(x_0=1\)として、入力信号の影響を受けない項\(w_{j0}^{(p)}\)としています。これをバイアスパラメータと呼びます。(3)\]となり、\(p\)層の\(j\)番目のユニットへの入力\(x_i\)と出力\(z_j\)が表されます。図1では、\(p-1\)層の全てのユニットから\(p\)層の\(j\)番目のユニットへの接続線しか表示されていないのですが、\(p-1\)層の全てのユニットは\(p\)層の全てのユニットに接続されています。\(h()\)には、ロジステックシグモイド関数やtanh関数などのシグモイド関数が利用されます。(5)\]式(3)の出力\(z_j\)は次の層への入力信号となり、順次これが繰り返され、最終的な出力が得られます。分かり易い例として、図1のような、\(p-1\)層が入力層で、\(p\)層が隠れ層、\(p+1\)層が出力層となる3層構造を考えてみましょう。これを用いて、例えば、30画素×30画素の白黒画像の数字0~9を認識させる場合であれば、入力層のユニット数を900個とし、ここに900画素の輝度値を入力します。輝度値が図1の\(x_i\)となります。輝度値\(x_i\)は0~1の間に収まるように規格化するのが一般的です。式(3)を用いて隠れ層の出力\(z_j\)を計算します。この出力が3番目の出力層への入力信号となります。隠れ層のユニット数は自由に設定することができます。言い換えると、性能が良くなるユニット数を実験から見出さねばなりません。出力層のユニット数は10個とし、数字の0~9に対応させます。数字の2の画像(900画素の輝度値)を入力したら、その正解出力は、出力層の2番目のユニットが1となり、その他は0となります。数字の5であれば、正解出力は出力層の5番目のユニットが1となり、その他は0となります。このような正解出力が出るように重みパラメータとバイアスパラメータを決定します。正解出力から逆方向に遡ってパラメータを決める過程をバックプロパゲーションと呼びます。0~9までの数字画像を次々と入力し、正解出力を与えて、その計算過程にあるパラメータを決めるプロセスは、まるで機械が学習をしているようなので、機械学習と呼ばれます。次回は、バックプロパゲーションによりパラメータを算出する方法を解説します。---------------------------<お勧め書籍>機械学習について丁寧に書かれた良書です。本格的に勉強したい人には必携のお勧め本です。