Beim Training eines Deep Learning-Modells auf einem relativ kleinen Datensatz kommt es vor, dass der Validierungsverlust geringer ist als der Trainingsverlust, während der Testverlust höher ist als beides. Konkreter ist, dass die Trainings- und Validierungsgenauigkeiten 99% erreichen, während der Test bei 68% abgeflacht wird.Was wären die Ursachen und wie könnte es vermieden werden?
Wenn die Validierungs-Verluste in Bezug auf die Prüfungs- und -Verteilungs-Methoden nicht einheitlich sind, können die Testverluste höher sein, es könnte ein Zeichen einer Über- oder Datensatzverlagerung sein. Es kann auch auf die unterschiedlichen Verteilungen in den Trainings-, Validierungs- und Testsätzen zurückzuführen sein. Hier sind einige mögliche Ursachen und Lösungen: 1. Über- und Anpassung: Wenn ein Modell lernt, sehr gut auf die Trainingsdaten zu arbeiten, aber nicht gut auf unsichtbare Daten verallgemeinert, ist es ein Zeichen der Über- und Anpassung. In diesem Fall kann das Modell die Trainingsdaten auswendig lernen, was zu einer hohen Genauigkeit der Trainings- und Validierungs-Sets führt, aber schlechte Leistung auf dem Test-Set. Lösungen: * Regularisierungstechniken wie L1 oder L2 Regularisierung können helfen, das Modell einzudämmen und eine Über-Zurüstung zu verhindern. * Frühzeitiges Stoppen kann eingesetzt werden, um das Training zu stoppen, wenn der Validierungs-Verlust beginnt zu erhöhen. * Erhöhen Sie die Größe des Trainingsdatensatzes mit Hilfe von Daten-Vergrößerungstechniken. * Verwenden Sie eine einfachere Modellarchitektur mit weniger Parametern. 2. Datensatzverlagerung