今回はSkyFoxの学習データと評価データの切り分けについて説明します。学習データと評価データに分割する必要があるのか?分割割合について乱数シード値についてデータが少ない場合の処理で気を付けることは?何故学習データと評価データに分割する必要があるのか?分類モデルと回帰モデルでは学習データをアップロードした後に内部で学習データと評価データにランダムに分割します。学習データだけでモデルを作成し、評価データで作成したモデルの性能を評価します。すべてのデータを学習に使用してしまうと、作ったモデルがそのデータにだけ当てはまりすぎてしまっている可能性をチェックできないからです。予測に使用していないデータで客観的に評価することが重要になります。分割割合についてSkyFoxでは学習データ75%、評価データ25%となるように設定されています。この割合は現状変更できない仕様となっています。一度モデルができた後に学習100%、評価0%となるように変更してモデルを更新することは可能です。モデル詳細画面にある下記の赤い枠で囲ったボタンです。このボタンを押すとアップロードデータ全件を使ってモデルを再作成します。これにより、性能評価を行うことはできなくなりますので、画面に表示される性能評価値は、全データモデルを作成する直前の情報となるのでご注意ください。あとひと手間必要にはなりますが強制的に任意の比率で分割する裏技があります。※こちらの記事を参考にしてください。blog.skyfox.aiSkyFoxの中の機能として割合を指定できるようにしてほしい!といったニーズがあれば次回以降のバージョンアップで仕様変更を検討します。乱数シード値についてランダムに分けるための乱数シード値はアルゴリズムで自動(ホワイトボックス、ブラックボックスを含む)を選択した場合は1で固定されていて、任意の値を選ぶことができません。アルゴリズムを個別で選択した場合は1以外の値で設定が可能です。下記の赤枠の部分で変更可能ですデータが少ない場合の処理で気を付けることは?アップロードしたデータの件数が少ない場合、SkyFoxは自動的に全てのデータを用いてモデルを作成します。その場合性能評価にも同じデータを用いていますので、過学習が起きている可能性があります。※過学習とはモデルが学習データに適合しすぎてしまい、汎用性が無くなってしまっている状態のことです。具体的にどれだけ少なかったら学習データが100%になるかというと、下記の通り分類なのか回帰なのかで設定が異なります。2,000件超ここで言いたいのは1,000件や2,000件あれば大丈夫ということではありません。閾値をこのように設定しているだけで、安定した結果を得るためには、もっと大量にデータあることが望ましいです。※トライアルサイトはSkyFoxの公式ページ(https://skyfox.ai)にあるリンクからご利用頂けます。任意の比率で学習データと評価データに分割する方法2019-06-27FAQ【2019/6/27更新版】もっと見るはてなブログをはじめよう!secondxightさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。