|
{ |
|
"best_metric": 0.9166666666666666, |
|
"best_model_checkpoint": "deit-base-distilled-patch16-224-hasta-75-fold5/checkpoint-3", |
|
"epoch": 100.0, |
|
"eval_steps": 500, |
|
"global_step": 100, |
|
"is_hyper_param_search": false, |
|
"is_local_process_zero": true, |
|
"is_world_process_zero": true, |
|
"log_history": [ |
|
{ |
|
"epoch": 1.0, |
|
"eval_accuracy": 0.4166666666666667, |
|
"eval_loss": 1.1508084535598755, |
|
"eval_runtime": 0.169, |
|
"eval_samples_per_second": 70.996, |
|
"eval_steps_per_second": 5.916, |
|
"step": 1 |
|
}, |
|
{ |
|
"epoch": 2.0, |
|
"eval_accuracy": 0.4166666666666667, |
|
"eval_loss": 0.9687178134918213, |
|
"eval_runtime": 0.1704, |
|
"eval_samples_per_second": 70.437, |
|
"eval_steps_per_second": 5.87, |
|
"step": 2 |
|
}, |
|
{ |
|
"epoch": 3.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.6803225874900818, |
|
"eval_runtime": 0.1647, |
|
"eval_samples_per_second": 72.87, |
|
"eval_steps_per_second": 6.073, |
|
"step": 3 |
|
}, |
|
{ |
|
"epoch": 4.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.421258807182312, |
|
"eval_runtime": 0.1665, |
|
"eval_samples_per_second": 72.054, |
|
"eval_steps_per_second": 6.004, |
|
"step": 4 |
|
}, |
|
{ |
|
"epoch": 5.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.29788830876350403, |
|
"eval_runtime": 0.1688, |
|
"eval_samples_per_second": 71.111, |
|
"eval_steps_per_second": 5.926, |
|
"step": 5 |
|
}, |
|
{ |
|
"epoch": 6.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2848268151283264, |
|
"eval_runtime": 0.1737, |
|
"eval_samples_per_second": 69.098, |
|
"eval_steps_per_second": 5.758, |
|
"step": 6 |
|
}, |
|
{ |
|
"epoch": 7.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.30619531869888306, |
|
"eval_runtime": 0.1762, |
|
"eval_samples_per_second": 68.087, |
|
"eval_steps_per_second": 5.674, |
|
"step": 7 |
|
}, |
|
{ |
|
"epoch": 8.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.3739819824695587, |
|
"eval_runtime": 0.173, |
|
"eval_samples_per_second": 69.378, |
|
"eval_steps_per_second": 5.781, |
|
"step": 8 |
|
}, |
|
{ |
|
"epoch": 9.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.47793257236480713, |
|
"eval_runtime": 0.171, |
|
"eval_samples_per_second": 70.172, |
|
"eval_steps_per_second": 5.848, |
|
"step": 9 |
|
}, |
|
{ |
|
"epoch": 10.0, |
|
"grad_norm": 1.8606432676315308, |
|
"learning_rate": 5e-05, |
|
"loss": 0.3289, |
|
"step": 10 |
|
}, |
|
{ |
|
"epoch": 10.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.4268692433834076, |
|
"eval_runtime": 0.1778, |
|
"eval_samples_per_second": 67.489, |
|
"eval_steps_per_second": 5.624, |
|
"step": 10 |
|
}, |
|
{ |
|
"epoch": 11.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.28784748911857605, |
|
"eval_runtime": 0.1729, |
|
"eval_samples_per_second": 69.406, |
|
"eval_steps_per_second": 5.784, |
|
"step": 11 |
|
}, |
|
{ |
|
"epoch": 12.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2469112128019333, |
|
"eval_runtime": 0.1818, |
|
"eval_samples_per_second": 65.998, |
|
"eval_steps_per_second": 5.5, |
|
"step": 12 |
|
}, |
|
{ |
|
"epoch": 13.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.24825625121593475, |
|
"eval_runtime": 0.1791, |
|
"eval_samples_per_second": 67.019, |
|
"eval_steps_per_second": 5.585, |
|
"step": 13 |
|
}, |
|
{ |
|
"epoch": 14.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.28731653094291687, |
|
"eval_runtime": 0.1743, |
|
"eval_samples_per_second": 68.839, |
|
"eval_steps_per_second": 5.737, |
|
"step": 14 |
|
}, |
|
{ |
|
"epoch": 15.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.3417778015136719, |
|
"eval_runtime": 0.1713, |
|
"eval_samples_per_second": 70.057, |
|
"eval_steps_per_second": 5.838, |
|
"step": 15 |
|
}, |
|
{ |
|
"epoch": 16.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.3439098298549652, |
|
"eval_runtime": 0.1709, |
|
"eval_samples_per_second": 70.227, |
|
"eval_steps_per_second": 5.852, |
|
"step": 16 |
|
}, |
|
{ |
|
"epoch": 17.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.3145594000816345, |
|
"eval_runtime": 0.172, |
|
"eval_samples_per_second": 69.782, |
|
"eval_steps_per_second": 5.815, |
|
"step": 17 |
|
}, |
|
{ |
|
"epoch": 18.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.3273468017578125, |
|
"eval_runtime": 0.1677, |
|
"eval_samples_per_second": 71.566, |
|
"eval_steps_per_second": 5.964, |
|
"step": 18 |
|
}, |
|
{ |
|
"epoch": 19.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.36365047097206116, |
|
"eval_runtime": 0.1664, |
|
"eval_samples_per_second": 72.128, |
|
"eval_steps_per_second": 6.011, |
|
"step": 19 |
|
}, |
|
{ |
|
"epoch": 20.0, |
|
"grad_norm": 1.660501480102539, |
|
"learning_rate": 4.4444444444444447e-05, |
|
"loss": 0.1373, |
|
"step": 20 |
|
}, |
|
{ |
|
"epoch": 20.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.4029407501220703, |
|
"eval_runtime": 0.1643, |
|
"eval_samples_per_second": 73.023, |
|
"eval_steps_per_second": 6.085, |
|
"step": 20 |
|
}, |
|
{ |
|
"epoch": 21.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.3971705734729767, |
|
"eval_runtime": 0.1689, |
|
"eval_samples_per_second": 71.041, |
|
"eval_steps_per_second": 5.92, |
|
"step": 21 |
|
}, |
|
{ |
|
"epoch": 22.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.37157008051872253, |
|
"eval_runtime": 0.1692, |
|
"eval_samples_per_second": 70.927, |
|
"eval_steps_per_second": 5.911, |
|
"step": 22 |
|
}, |
|
{ |
|
"epoch": 23.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.33739233016967773, |
|
"eval_runtime": 0.1757, |
|
"eval_samples_per_second": 68.298, |
|
"eval_steps_per_second": 5.692, |
|
"step": 23 |
|
}, |
|
{ |
|
"epoch": 24.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.27154234051704407, |
|
"eval_runtime": 0.1786, |
|
"eval_samples_per_second": 67.205, |
|
"eval_steps_per_second": 5.6, |
|
"step": 24 |
|
}, |
|
{ |
|
"epoch": 25.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2575976550579071, |
|
"eval_runtime": 0.1716, |
|
"eval_samples_per_second": 69.912, |
|
"eval_steps_per_second": 5.826, |
|
"step": 25 |
|
}, |
|
{ |
|
"epoch": 26.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2621057629585266, |
|
"eval_runtime": 0.1713, |
|
"eval_samples_per_second": 70.034, |
|
"eval_steps_per_second": 5.836, |
|
"step": 26 |
|
}, |
|
{ |
|
"epoch": 27.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.26932066679000854, |
|
"eval_runtime": 0.1758, |
|
"eval_samples_per_second": 68.254, |
|
"eval_steps_per_second": 5.688, |
|
"step": 27 |
|
}, |
|
{ |
|
"epoch": 28.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.26530390977859497, |
|
"eval_runtime": 0.1762, |
|
"eval_samples_per_second": 68.096, |
|
"eval_steps_per_second": 5.675, |
|
"step": 28 |
|
}, |
|
{ |
|
"epoch": 29.0, |
|
"eval_accuracy": 0.8333333333333334, |
|
"eval_loss": 0.2811259925365448, |
|
"eval_runtime": 0.1693, |
|
"eval_samples_per_second": 70.877, |
|
"eval_steps_per_second": 5.906, |
|
"step": 29 |
|
}, |
|
{ |
|
"epoch": 30.0, |
|
"grad_norm": 2.084308624267578, |
|
"learning_rate": 3.888888888888889e-05, |
|
"loss": 0.0748, |
|
"step": 30 |
|
}, |
|
{ |
|
"epoch": 30.0, |
|
"eval_accuracy": 0.8333333333333334, |
|
"eval_loss": 0.33352795243263245, |
|
"eval_runtime": 0.1688, |
|
"eval_samples_per_second": 71.103, |
|
"eval_steps_per_second": 5.925, |
|
"step": 30 |
|
}, |
|
{ |
|
"epoch": 31.0, |
|
"eval_accuracy": 0.8333333333333334, |
|
"eval_loss": 0.35380592942237854, |
|
"eval_runtime": 0.1708, |
|
"eval_samples_per_second": 70.269, |
|
"eval_steps_per_second": 5.856, |
|
"step": 31 |
|
}, |
|
{ |
|
"epoch": 32.0, |
|
"eval_accuracy": 0.8333333333333334, |
|
"eval_loss": 0.289585143327713, |
|
"eval_runtime": 0.1649, |
|
"eval_samples_per_second": 72.769, |
|
"eval_steps_per_second": 6.064, |
|
"step": 32 |
|
}, |
|
{ |
|
"epoch": 33.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2242116928100586, |
|
"eval_runtime": 0.1711, |
|
"eval_samples_per_second": 70.133, |
|
"eval_steps_per_second": 5.844, |
|
"step": 33 |
|
}, |
|
{ |
|
"epoch": 34.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2258029580116272, |
|
"eval_runtime": 0.1659, |
|
"eval_samples_per_second": 72.341, |
|
"eval_steps_per_second": 6.028, |
|
"step": 34 |
|
}, |
|
{ |
|
"epoch": 35.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2552154064178467, |
|
"eval_runtime": 0.1681, |
|
"eval_samples_per_second": 71.384, |
|
"eval_steps_per_second": 5.949, |
|
"step": 35 |
|
}, |
|
{ |
|
"epoch": 36.0, |
|
"eval_accuracy": 0.8333333333333334, |
|
"eval_loss": 0.3065619170665741, |
|
"eval_runtime": 0.1709, |
|
"eval_samples_per_second": 70.219, |
|
"eval_steps_per_second": 5.852, |
|
"step": 36 |
|
}, |
|
{ |
|
"epoch": 37.0, |
|
"eval_accuracy": 0.8333333333333334, |
|
"eval_loss": 0.38616108894348145, |
|
"eval_runtime": 0.1652, |
|
"eval_samples_per_second": 72.637, |
|
"eval_steps_per_second": 6.053, |
|
"step": 37 |
|
}, |
|
{ |
|
"epoch": 38.0, |
|
"eval_accuracy": 0.8333333333333334, |
|
"eval_loss": 0.4925583302974701, |
|
"eval_runtime": 0.1732, |
|
"eval_samples_per_second": 69.266, |
|
"eval_steps_per_second": 5.772, |
|
"step": 38 |
|
}, |
|
{ |
|
"epoch": 39.0, |
|
"eval_accuracy": 0.75, |
|
"eval_loss": 0.6405348181724548, |
|
"eval_runtime": 0.1773, |
|
"eval_samples_per_second": 67.687, |
|
"eval_steps_per_second": 5.641, |
|
"step": 39 |
|
}, |
|
{ |
|
"epoch": 40.0, |
|
"grad_norm": 0.951268196105957, |
|
"learning_rate": 3.3333333333333335e-05, |
|
"loss": 0.0581, |
|
"step": 40 |
|
}, |
|
{ |
|
"epoch": 40.0, |
|
"eval_accuracy": 0.75, |
|
"eval_loss": 0.6536399126052856, |
|
"eval_runtime": 0.1633, |
|
"eval_samples_per_second": 73.476, |
|
"eval_steps_per_second": 6.123, |
|
"step": 40 |
|
}, |
|
{ |
|
"epoch": 41.0, |
|
"eval_accuracy": 0.8333333333333334, |
|
"eval_loss": 0.607906699180603, |
|
"eval_runtime": 0.1681, |
|
"eval_samples_per_second": 71.406, |
|
"eval_steps_per_second": 5.95, |
|
"step": 41 |
|
}, |
|
{ |
|
"epoch": 42.0, |
|
"eval_accuracy": 0.8333333333333334, |
|
"eval_loss": 0.4894748628139496, |
|
"eval_runtime": 0.1769, |
|
"eval_samples_per_second": 67.821, |
|
"eval_steps_per_second": 5.652, |
|
"step": 42 |
|
}, |
|
{ |
|
"epoch": 43.0, |
|
"eval_accuracy": 0.8333333333333334, |
|
"eval_loss": 0.40005257725715637, |
|
"eval_runtime": 0.1684, |
|
"eval_samples_per_second": 71.275, |
|
"eval_steps_per_second": 5.94, |
|
"step": 43 |
|
}, |
|
{ |
|
"epoch": 44.0, |
|
"eval_accuracy": 0.8333333333333334, |
|
"eval_loss": 0.3492771089076996, |
|
"eval_runtime": 0.1838, |
|
"eval_samples_per_second": 65.295, |
|
"eval_steps_per_second": 5.441, |
|
"step": 44 |
|
}, |
|
{ |
|
"epoch": 45.0, |
|
"eval_accuracy": 0.8333333333333334, |
|
"eval_loss": 0.3068278133869171, |
|
"eval_runtime": 0.1795, |
|
"eval_samples_per_second": 66.845, |
|
"eval_steps_per_second": 5.57, |
|
"step": 45 |
|
}, |
|
{ |
|
"epoch": 46.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.285923570394516, |
|
"eval_runtime": 0.1734, |
|
"eval_samples_per_second": 69.219, |
|
"eval_steps_per_second": 5.768, |
|
"step": 46 |
|
}, |
|
{ |
|
"epoch": 47.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2943495810031891, |
|
"eval_runtime": 0.1712, |
|
"eval_samples_per_second": 70.086, |
|
"eval_steps_per_second": 5.84, |
|
"step": 47 |
|
}, |
|
{ |
|
"epoch": 48.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.29830244183540344, |
|
"eval_runtime": 0.1694, |
|
"eval_samples_per_second": 70.831, |
|
"eval_steps_per_second": 5.903, |
|
"step": 48 |
|
}, |
|
{ |
|
"epoch": 49.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.31833529472351074, |
|
"eval_runtime": 0.1681, |
|
"eval_samples_per_second": 71.407, |
|
"eval_steps_per_second": 5.951, |
|
"step": 49 |
|
}, |
|
{ |
|
"epoch": 50.0, |
|
"grad_norm": 0.7747740149497986, |
|
"learning_rate": 2.777777777777778e-05, |
|
"loss": 0.041, |
|
"step": 50 |
|
}, |
|
{ |
|
"epoch": 50.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.32990509271621704, |
|
"eval_runtime": 0.1801, |
|
"eval_samples_per_second": 66.648, |
|
"eval_steps_per_second": 5.554, |
|
"step": 50 |
|
}, |
|
{ |
|
"epoch": 51.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.335347443819046, |
|
"eval_runtime": 0.1879, |
|
"eval_samples_per_second": 63.866, |
|
"eval_steps_per_second": 5.322, |
|
"step": 51 |
|
}, |
|
{ |
|
"epoch": 52.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.32426708936691284, |
|
"eval_runtime": 0.1738, |
|
"eval_samples_per_second": 69.057, |
|
"eval_steps_per_second": 5.755, |
|
"step": 52 |
|
}, |
|
{ |
|
"epoch": 53.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.30571606755256653, |
|
"eval_runtime": 0.1688, |
|
"eval_samples_per_second": 71.101, |
|
"eval_steps_per_second": 5.925, |
|
"step": 53 |
|
}, |
|
{ |
|
"epoch": 54.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.281681090593338, |
|
"eval_runtime": 0.1645, |
|
"eval_samples_per_second": 72.969, |
|
"eval_steps_per_second": 6.081, |
|
"step": 54 |
|
}, |
|
{ |
|
"epoch": 55.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.25348612666130066, |
|
"eval_runtime": 0.18, |
|
"eval_samples_per_second": 66.661, |
|
"eval_steps_per_second": 5.555, |
|
"step": 55 |
|
}, |
|
{ |
|
"epoch": 56.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.24437715113162994, |
|
"eval_runtime": 0.182, |
|
"eval_samples_per_second": 65.942, |
|
"eval_steps_per_second": 5.495, |
|
"step": 56 |
|
}, |
|
{ |
|
"epoch": 57.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.23563118278980255, |
|
"eval_runtime": 0.1658, |
|
"eval_samples_per_second": 72.395, |
|
"eval_steps_per_second": 6.033, |
|
"step": 57 |
|
}, |
|
{ |
|
"epoch": 58.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.24549810588359833, |
|
"eval_runtime": 0.1701, |
|
"eval_samples_per_second": 70.531, |
|
"eval_steps_per_second": 5.878, |
|
"step": 58 |
|
}, |
|
{ |
|
"epoch": 59.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.25187748670578003, |
|
"eval_runtime": 0.1754, |
|
"eval_samples_per_second": 68.396, |
|
"eval_steps_per_second": 5.7, |
|
"step": 59 |
|
}, |
|
{ |
|
"epoch": 60.0, |
|
"grad_norm": 0.9655368328094482, |
|
"learning_rate": 2.2222222222222223e-05, |
|
"loss": 0.0333, |
|
"step": 60 |
|
}, |
|
{ |
|
"epoch": 60.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.25288647413253784, |
|
"eval_runtime": 0.1671, |
|
"eval_samples_per_second": 71.81, |
|
"eval_steps_per_second": 5.984, |
|
"step": 60 |
|
}, |
|
{ |
|
"epoch": 61.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.25820836424827576, |
|
"eval_runtime": 0.1699, |
|
"eval_samples_per_second": 70.644, |
|
"eval_steps_per_second": 5.887, |
|
"step": 61 |
|
}, |
|
{ |
|
"epoch": 62.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2589038014411926, |
|
"eval_runtime": 0.1743, |
|
"eval_samples_per_second": 68.848, |
|
"eval_steps_per_second": 5.737, |
|
"step": 62 |
|
}, |
|
{ |
|
"epoch": 63.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2585124671459198, |
|
"eval_runtime": 0.1707, |
|
"eval_samples_per_second": 70.281, |
|
"eval_steps_per_second": 5.857, |
|
"step": 63 |
|
}, |
|
{ |
|
"epoch": 64.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.25402310490608215, |
|
"eval_runtime": 0.1697, |
|
"eval_samples_per_second": 70.715, |
|
"eval_steps_per_second": 5.893, |
|
"step": 64 |
|
}, |
|
{ |
|
"epoch": 65.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.26308032870292664, |
|
"eval_runtime": 0.1774, |
|
"eval_samples_per_second": 67.645, |
|
"eval_steps_per_second": 5.637, |
|
"step": 65 |
|
}, |
|
{ |
|
"epoch": 66.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2696846127510071, |
|
"eval_runtime": 0.1728, |
|
"eval_samples_per_second": 69.44, |
|
"eval_steps_per_second": 5.787, |
|
"step": 66 |
|
}, |
|
{ |
|
"epoch": 67.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.27139660716056824, |
|
"eval_runtime": 0.1832, |
|
"eval_samples_per_second": 65.49, |
|
"eval_steps_per_second": 5.458, |
|
"step": 67 |
|
}, |
|
{ |
|
"epoch": 68.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2740378975868225, |
|
"eval_runtime": 0.1736, |
|
"eval_samples_per_second": 69.118, |
|
"eval_steps_per_second": 5.76, |
|
"step": 68 |
|
}, |
|
{ |
|
"epoch": 69.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.27375146746635437, |
|
"eval_runtime": 0.1649, |
|
"eval_samples_per_second": 72.768, |
|
"eval_steps_per_second": 6.064, |
|
"step": 69 |
|
}, |
|
{ |
|
"epoch": 70.0, |
|
"grad_norm": 0.49137768149375916, |
|
"learning_rate": 1.6666666666666667e-05, |
|
"loss": 0.0221, |
|
"step": 70 |
|
}, |
|
{ |
|
"epoch": 70.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.28029516339302063, |
|
"eval_runtime": 0.177, |
|
"eval_samples_per_second": 67.806, |
|
"eval_steps_per_second": 5.651, |
|
"step": 70 |
|
}, |
|
{ |
|
"epoch": 71.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2754945456981659, |
|
"eval_runtime": 0.1641, |
|
"eval_samples_per_second": 73.115, |
|
"eval_steps_per_second": 6.093, |
|
"step": 71 |
|
}, |
|
{ |
|
"epoch": 72.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2710900604724884, |
|
"eval_runtime": 0.1742, |
|
"eval_samples_per_second": 68.87, |
|
"eval_steps_per_second": 5.739, |
|
"step": 72 |
|
}, |
|
{ |
|
"epoch": 73.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2705715000629425, |
|
"eval_runtime": 0.1699, |
|
"eval_samples_per_second": 70.64, |
|
"eval_steps_per_second": 5.887, |
|
"step": 73 |
|
}, |
|
{ |
|
"epoch": 74.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.275150328874588, |
|
"eval_runtime": 0.1686, |
|
"eval_samples_per_second": 71.163, |
|
"eval_steps_per_second": 5.93, |
|
"step": 74 |
|
}, |
|
{ |
|
"epoch": 75.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2649802267551422, |
|
"eval_runtime": 0.175, |
|
"eval_samples_per_second": 68.578, |
|
"eval_steps_per_second": 5.715, |
|
"step": 75 |
|
}, |
|
{ |
|
"epoch": 76.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.26048973202705383, |
|
"eval_runtime": 0.1737, |
|
"eval_samples_per_second": 69.066, |
|
"eval_steps_per_second": 5.756, |
|
"step": 76 |
|
}, |
|
{ |
|
"epoch": 77.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.26497793197631836, |
|
"eval_runtime": 0.1798, |
|
"eval_samples_per_second": 66.728, |
|
"eval_steps_per_second": 5.561, |
|
"step": 77 |
|
}, |
|
{ |
|
"epoch": 78.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2730535864830017, |
|
"eval_runtime": 0.1693, |
|
"eval_samples_per_second": 70.9, |
|
"eval_steps_per_second": 5.908, |
|
"step": 78 |
|
}, |
|
{ |
|
"epoch": 79.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2746197581291199, |
|
"eval_runtime": 0.1788, |
|
"eval_samples_per_second": 67.096, |
|
"eval_steps_per_second": 5.591, |
|
"step": 79 |
|
}, |
|
{ |
|
"epoch": 80.0, |
|
"grad_norm": 0.14817585051059723, |
|
"learning_rate": 1.1111111111111112e-05, |
|
"loss": 0.0151, |
|
"step": 80 |
|
}, |
|
{ |
|
"epoch": 80.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2776177227497101, |
|
"eval_runtime": 0.1616, |
|
"eval_samples_per_second": 74.264, |
|
"eval_steps_per_second": 6.189, |
|
"step": 80 |
|
}, |
|
{ |
|
"epoch": 81.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.277346670627594, |
|
"eval_runtime": 0.1694, |
|
"eval_samples_per_second": 70.845, |
|
"eval_steps_per_second": 5.904, |
|
"step": 81 |
|
}, |
|
{ |
|
"epoch": 82.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2792823612689972, |
|
"eval_runtime": 0.1716, |
|
"eval_samples_per_second": 69.939, |
|
"eval_steps_per_second": 5.828, |
|
"step": 82 |
|
}, |
|
{ |
|
"epoch": 83.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2747008502483368, |
|
"eval_runtime": 0.166, |
|
"eval_samples_per_second": 72.294, |
|
"eval_steps_per_second": 6.025, |
|
"step": 83 |
|
}, |
|
{ |
|
"epoch": 84.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2754807770252228, |
|
"eval_runtime": 0.1852, |
|
"eval_samples_per_second": 64.786, |
|
"eval_steps_per_second": 5.399, |
|
"step": 84 |
|
}, |
|
{ |
|
"epoch": 85.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.27458545565605164, |
|
"eval_runtime": 0.1724, |
|
"eval_samples_per_second": 69.6, |
|
"eval_steps_per_second": 5.8, |
|
"step": 85 |
|
}, |
|
{ |
|
"epoch": 86.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.27412325143814087, |
|
"eval_runtime": 0.168, |
|
"eval_samples_per_second": 71.432, |
|
"eval_steps_per_second": 5.953, |
|
"step": 86 |
|
}, |
|
{ |
|
"epoch": 87.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2739163041114807, |
|
"eval_runtime": 0.1654, |
|
"eval_samples_per_second": 72.541, |
|
"eval_steps_per_second": 6.045, |
|
"step": 87 |
|
}, |
|
{ |
|
"epoch": 88.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.27806445956230164, |
|
"eval_runtime": 0.1728, |
|
"eval_samples_per_second": 69.44, |
|
"eval_steps_per_second": 5.787, |
|
"step": 88 |
|
}, |
|
{ |
|
"epoch": 89.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2837577164173126, |
|
"eval_runtime": 0.1726, |
|
"eval_samples_per_second": 69.534, |
|
"eval_steps_per_second": 5.795, |
|
"step": 89 |
|
}, |
|
{ |
|
"epoch": 90.0, |
|
"grad_norm": 1.3264079093933105, |
|
"learning_rate": 5.555555555555556e-06, |
|
"loss": 0.0213, |
|
"step": 90 |
|
}, |
|
{ |
|
"epoch": 90.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.28547146916389465, |
|
"eval_runtime": 0.1684, |
|
"eval_samples_per_second": 71.276, |
|
"eval_steps_per_second": 5.94, |
|
"step": 90 |
|
}, |
|
{ |
|
"epoch": 91.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.28617483377456665, |
|
"eval_runtime": 0.1675, |
|
"eval_samples_per_second": 71.625, |
|
"eval_steps_per_second": 5.969, |
|
"step": 91 |
|
}, |
|
{ |
|
"epoch": 92.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.28574061393737793, |
|
"eval_runtime": 0.173, |
|
"eval_samples_per_second": 69.362, |
|
"eval_steps_per_second": 5.78, |
|
"step": 92 |
|
}, |
|
{ |
|
"epoch": 93.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.28238776326179504, |
|
"eval_runtime": 0.1754, |
|
"eval_samples_per_second": 68.4, |
|
"eval_steps_per_second": 5.7, |
|
"step": 93 |
|
}, |
|
{ |
|
"epoch": 94.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2757618725299835, |
|
"eval_runtime": 0.1748, |
|
"eval_samples_per_second": 68.656, |
|
"eval_steps_per_second": 5.721, |
|
"step": 94 |
|
}, |
|
{ |
|
"epoch": 95.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2698369324207306, |
|
"eval_runtime": 0.173, |
|
"eval_samples_per_second": 69.353, |
|
"eval_steps_per_second": 5.779, |
|
"step": 95 |
|
}, |
|
{ |
|
"epoch": 96.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.2624564468860626, |
|
"eval_runtime": 0.167, |
|
"eval_samples_per_second": 71.842, |
|
"eval_steps_per_second": 5.987, |
|
"step": 96 |
|
}, |
|
{ |
|
"epoch": 97.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.25662297010421753, |
|
"eval_runtime": 0.1671, |
|
"eval_samples_per_second": 71.81, |
|
"eval_steps_per_second": 5.984, |
|
"step": 97 |
|
}, |
|
{ |
|
"epoch": 98.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.25168970227241516, |
|
"eval_runtime": 0.1834, |
|
"eval_samples_per_second": 65.448, |
|
"eval_steps_per_second": 5.454, |
|
"step": 98 |
|
}, |
|
{ |
|
"epoch": 99.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.24908731877803802, |
|
"eval_runtime": 0.1724, |
|
"eval_samples_per_second": 69.589, |
|
"eval_steps_per_second": 5.799, |
|
"step": 99 |
|
}, |
|
{ |
|
"epoch": 100.0, |
|
"grad_norm": 0.8158544301986694, |
|
"learning_rate": 0.0, |
|
"loss": 0.0314, |
|
"step": 100 |
|
}, |
|
{ |
|
"epoch": 100.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.24780015647411346, |
|
"eval_runtime": 0.1736, |
|
"eval_samples_per_second": 69.126, |
|
"eval_steps_per_second": 5.761, |
|
"step": 100 |
|
}, |
|
{ |
|
"epoch": 100.0, |
|
"step": 100, |
|
"total_flos": 4.804632427843584e+17, |
|
"train_loss": 0.07632537007331848, |
|
"train_runtime": 425.2676, |
|
"train_samples_per_second": 14.579, |
|
"train_steps_per_second": 0.235 |
|
}, |
|
{ |
|
"epoch": 100.0, |
|
"eval_accuracy": 0.9166666666666666, |
|
"eval_loss": 0.6803225874900818, |
|
"eval_runtime": 0.2325, |
|
"eval_samples_per_second": 51.619, |
|
"eval_steps_per_second": 4.302, |
|
"step": 100 |
|
} |
|
], |
|
"logging_steps": 10, |
|
"max_steps": 100, |
|
"num_input_tokens_seen": 0, |
|
"num_train_epochs": 100, |
|
"save_steps": 500, |
|
"stateful_callbacks": { |
|
"TrainerControl": { |
|
"args": { |
|
"should_epoch_stop": false, |
|
"should_evaluate": false, |
|
"should_log": false, |
|
"should_save": true, |
|
"should_training_stop": true |
|
}, |
|
"attributes": {} |
|
} |
|
}, |
|
"total_flos": 4.804632427843584e+17, |
|
"train_batch_size": 32, |
|
"trial_name": null, |
|
"trial_params": null |
|
} |
|
|