「データ全体を学習用データとテストデータに分割し、モデルの精度を確かめる手法。データ全体が100個ある場合、6対4の割合で分割し、学習用データを60個、テストデータを40個に分割します。教師ありデータを「学習データ」と「テストデータ」に分割する。学習データでモデルを作成し、テストデータで性能を図る。※より効果的な方法として、データを学習データ、検証データ、テストデータと3つに分割し、検証データによって複数のモデルを評価・選択して最終的にテストデータで汎化誤差を評価する方法がある。Validation(クロスバリデーション法)別名、K-分割交差検証と呼ばれます。K-分割交差検証では、データ全体をK個に分割します。個を訓練用データに分解します。その後、テストデータと学習用データを入れ替えて繰り返し、全てのケースがテスト事例となるよう検証を繰り返します。回の検証が行われることになります。このようにして得られた結果を平均してモデルの精度を確かめます。Out(リーブワンアウト法)とは、データ全体のうち1つだけをテストデータとする方法です。その後、テストデータと学習用データを入れ替えて繰り返し、全てのケースがテスト事例となるよう検証を繰り返します。このようにして得られた結果を平均してモデルの精度を確かめます。Outは1つずつ分解するので精度は高くなりやすいですが時間が非常にかかります。それとは逆にHold-out(ホールドアウト法)の場合はデータにばらつきがある場合は高精度が出しにくいですが、時間は短時間で済みます。このように手持ちのデータサンプル数によって使い分ける必要性があります。手持ちのデータが10個以下の場合はサンプル数が少なすぎるため、どの手法を用いても効果は期待出来ません。本当に機械学習、ディープラーニングを行う必要があるのか見直す必要があります。Out(リーブワンアウト法)が有効ですが、サンプル数がまだ少ないため、モデルの精度はあまりよくなりません。validation)が丁度いいです。Out(リーブワンアウト法)も件数によっては有効ですが、その分時間はかかります。Validation(クロスバリデーション法)で10分割以内か、Hold-out(ホールドアウト法)を使用して検証する必要があります。この量の学習サンプル数となると、マシン性能のスペックや処理の非常に重要となってきます。データサンプル数が1,00000個以下の場合この量になると、Hold-out(ホールドアウト法)以外は無理です。マシン性能スペックやアルゴリズムが非常に大事となってきます。データサンプル数がこれ以上の場合は、Hold-out(ホールドアウト法)でも難しくなり、またマシン性能のスペックも超高性能が必要となります。研究施設等での超最先端な技術を持ち合わせてなければ出来ないレベルとなります。