0.0~1.0、Tanhは、-1から1の間にあてはまるように結果を整理します。ReLUは、0より小さい数は0にして、0より大きい場合はそのままにする方法で、結果を整理して出力します。どの方法を使うのが最適なのかは、何をしたいかとか、inputのデータの性質とかのもろもろの条件によって変わります。そこで、難しいことを考えると前にすすめません。3つを差し替えながら、結果の良いものを採用すればいいや・・くらいに考えておけばいいんじゃないですかね。簡単に試せるのがニューラルネットワークコンソールのメリットですから。上記のAffineと活性化関数について、もう少し詳しく説明しているのがこちらです。arakan-pgm-ai.hatenablog.comarakan-pgm-ai.hatenablog.com単純に階層を深くしてみる層を重ねていくイメージが頭にできたところで、ニューラルネットワークコンソールを起動します。比較用に層の浅いネットワークで学習・評価する一番シンプルな「01_logistic_regression.sdcproj」を開きます。作業用にするので、名前をつけて保存を選んで、別の名前でプロジェクトを保存しておきます。比較元にするために、これで学習と評価をやっておきます。評価の結果は、95.4%です。単純に層を深くしてやってみるこの層を重ねて深くしてみます。Affine+Reluの組み合わせで追加していきます。ReLuかというと、色々、試した結果、この組み合わせで追加するのが一番結果がよかったからです。2018/10/3追記>別にこの組み合わせが万能だというわけではないです。>たまたま、このデータとモデルの組み合わせを試したら、今回はそうだった。>まあ、それだけのことです。誤解なきようお願いします。AffineとSigmoidとBinaryCrossEntropyを引き下げて、間の線を選択して、Deleteキーで消し、Inputの下にAffineとReluを追加します。追加したAffineレイヤーのOutShapeは、28*28の784にします。それで、上から順にShiftキーを押しながら選択していって、リンクで繋いでいきます。1層だけ深くして学習した結果さて、どうなったか。ガタガタはしていますが、一応収束しています。評価した結果は、97.2%。1層のときより改善しました。このレベルなら、深くした方が改善するみたいです。AffineとReluの組み合わせを追加してみます。学習してみた結果はこんな感じ。Errorは先程より増えてます。評価した結果はというと、96%・・。先程より、結果が悪くなりました。単純に層を重ねても全然ダメこのあと、8層くらいまで追加してやってみました。結果的には、2層のときの97,2%をうわまわることはありませんでした。誰が試しても、そんな結果になるはずです。層が増えると学習にかかる時間は、どんどん長くなります。時間がかかって結果が悪化するのであれば、意味がないということです。どのくらいの層で最良の結果がでるか。これは、組んだネットワークによっても違います。対象とするデータによっても違います。このあたりを理論で理解するというアプローチもありますが、少々敷居が高いです。文系人間にとっては・・ですが。習うより慣れろで、このあたりの試行錯誤をして感覚を掴んでおくのは、結構大事かもしれないなと思ったりもします。ニューラルネットワークコンソールなら、気楽に試すことができますしね。今回は、こんな感じで。検索スポンサーリンク最近のアクセスTOP5ブクマ数TOP3IT的なTIPS・ノウハウイベントログから抽出したログオン・オフ時刻を見やすいように整形するEXCELのVBAマクロなど。Google検索は利用するけど、アクティビティを保存させたくない時もある文字コードで悩まされるなんて久しぶり/JIS7(ISO-2022-JP)とJIS8の話もっと見る作業時によく参照する「まとめ」djangoテンプレート内でforループで回す時の整理とデフォルト辞書利用時の注意など。djangoテンプレート内ので条件分岐(IF文)で注意することなどをまとめておくdjangoテンプレート/変数の値の参照の仕方が、Pythonと違う所があるので整理しておく。service」とサーバーレスコンピューティング関係をまとめてみる。PWA・SPA・・など「最近のWEBアプリケーションの種類」をざっくりまとめる。文系的まとめディープラーニング(ニューラルネットワーク)の「学習」の肝は「微分」らしいよ。Consoleもっと見るディープラーニングのデモをやってみるWord2Vecで「単語の足し算・引き算の結果(単語)を取得する」デモをやってみる。API」で入力文の疑わしい部分をAIが指摘するデモを作る。classで事前学習済のVGG16モデルを使った画像識別クラス/tensorflow2.0(tf.keras)ランダムフォレストで回帰してみる/気象情報と電力データその2もっと見るPythonでWebアプリやってみるviews.py(python)からデータを渡して、Chart.jsでRaderチャートを描く/Chart.js+djangoWEBブラウザ上にドラッグ&ドロップした画像ファイルをBase64に変換して表示するWEBブラウザで手描きしたイメージをJPEG・PNG変換後Base64エンコードするもっと見るPythonで自動化やってみるWebアプリケーションで自動的に値を参照、スクロール他Tips/Selenium&pythonWebアプリケーションで自動的に何かをクリックするTips/Selenium&pythonWebアプリケーションへの自動入力・選択のTipsあれこれ/Selenium&pythonもっと見るPythonで数学・グラフィックスやってみるモンティ・ホール問題で、ちょっと暇つぶし。最近、台風が怖すぎる!!!生産性向上しろと言いながら、片方で足をひっぱるなんて・・と呆れてます。/軽減税率のニュースを見てもっと見るBOKU62歳の文系SE”BOKU”です。<arakan_no_boku@yahoo.co.jp>興味の向いたものを、つまみ食い的に勉強してます。自分が消化した内容を、頭の整理と備忘を兼ねてブログに書いてます。IT系・・特に機械学習・プログラムネタが中心ですが、IT以外のネタになる時もあります。(43)スポンサーリンクはてなブログをはじめよう!arakan_no_bokuさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。