Console今回は、ディープラーニングだからと言って、闇雲に層を深くしてもダメだということを確認したいと思います。2017/11/30追記>Version1.10の画面に張り替えました。>Version1.00と若干結果の数値が変わっていたためです。予備知識からただ、それをするのには「層を深くする」イメージを理解しておく必要があります。試してみる前に、何の予知知識もないと、ちょっとしんどいので、最初に補足します。本当にざっくり、細かいところに目をつぶって・・ですが。1層のニューラルネットワークの処理の流れ専門用語はあえて使ってません。厳密には不正確な部分もありますが、その辺は目をつぶって・・ですね。以下の図のような流れになります。学習の時は、入力データをうけとって、重み(バイアスも含む)パラメータと掛け合わせて計算していった結果を元に、どのラベルである確率が一番高いかを計算します。その後、答え合わせをして、間違ってたら重みパラメータを少し修正する。いうことを繰り返して、重みパラメータを最適な値に調整していくのを「学習」といいます。して調整した重みパラメータを使って、入力データはこのラベルだと予測するのが推論(評価)です。それらのイメージを踏まえて、上記で。1~3の答えを出すところまでで止めるのが、推論(評価・分類)。1~4までやって、重みパラメータを更新していくのが学習。基本的な代表的レイヤーをピックアップさて。今度は上記の1~4に対応する代表的なレイヤーをピックアップします。後ろの方で試す時に登場するものだけです。赤字が、上記の1~4に対応するニューラルネットワークコンソールで用意されているレイヤーの名前です。答え合わせをする:CategoricalCrossEntropy又はBinaryCrossEntropy3と4を補足します。説明用にわけてますが、実際は、2つをくっつけたSoftmaxCrossEntropyがあるので、それを使います。4のBinaryCrossEntropyとCategoricalCrossEntropyの違いは、分類したい数が2つ(Binary)か3つ以上(Categorical)かです。代表的なレイヤーの組合せパターン分類したい数が3以上(2値でない)場合は、以下の3パターンの組み合わせが基本的な1層のネットワークになります。2値(選択肢が2つしかない)は、上記のSoftmaxCrossEntropyをBinaryCrossEntropyに置き換えるわけですが、試してみた感じBinaryCrossEntropyのときは「Sigmoid」との組み合わせの1択になります。層を重ねていくときは、セットで増やす層を重ねていくときには、上の2つ(Affine+ReLUまたはSigmoidまたはTanh)のセットで増やしていきます。結果を整える部分(活性化関数)の違い分類したい数が3以上の場合には、3つのバリエーションがあるので、補足します。