Hattori機械学習系の研究職&エンジニア。ICT技術のWebAPIマーケットプレイスApitoreをやってます。先日公開してからかなり反響があり、アクセス数増加、Apitoreのユーザーも増え、Qiitaではデイリーランキング5位になりました。Stoppingを試しました。ついでに学習データも増強したので、学習データ増強before/afterも評価しようと思います。例のごとく、deeplearning4jの公式でサンプルプログラムが公開されていました。今回はこの中から、epochで5回連続性能が上がらなかったら終了、という感じで学習させることにします。下にコードを載せます。以前の実装との違いは、EarlyStoppingModelSaverやIEarlyStoppingTrainerですね。result.getBestModelScore());}実験ついでに学習データも増強しました。以前作った目的語リストでTwitterを再クロールしました。Twitterの検索APIは最大7日前まで遡って検索でき、前回データを取ったのが2週間前なので新しいデータがとれます。増強前後の性能を見てみましょう。条件は以下になります。800学習は時間はそれぞれ・・・beforeが約1日、epochは7で終了afterは約1.5日、epochは16で終了となっています。epoch当たりの実行速度は極めて遅いですね。あと、epochが全然回っていないので、学習設定があまり良くないかもしれません。パラメータは相変わらずdeeplearning4jのサンプルプログラムやネットで見かけたよく使われる数値です。Stopping用のデータが違うのもご容赦ください。兎にも角にも、まずは精度を見てみましょう。0.835結果から分かる通り、純粋に性能が上がっています。どちらもややprecision重視になっているので、positiveの判定性能は5割くらいですね。Supervision方式なので人手のアノテーションデータに差し替えて行きたいです。Supervision方式を取っているので、この極性判定技術は「Twitter社の極性判定技術をF値で83.5%再現している」ということになります。性能はどんどん上げていきたいですね。stoppingを試してみました。過学習を避けることができるので、普通に導入すべきですね。Stoppingは今回紹介したものの他にも色々と停止条件を設定できます。どのパラメータをどの程度に設定すべきかは神のみぞ知るセカイなので、色々と試すために計算資源の潤沢さが必要になりますね。極性判定の性能を上げていきたいので、もしよろしければこちらのデモサイトで極性判定結果の改善にご協力ください。盛り上げて行きたいです。Hattoriについて機械学習系の研究職&エンジニア。ICT技術のWebAPIマーケットプレイスApitoreをやってます。コメントをキャンセルメールアドレスが公開されることはありません。*ウェブサイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。Themeisle.。