| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 1.0, | |
| "eval_steps": 500, | |
| "global_step": 7500, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.0026666666666666666, | |
| "grad_norm": 15.25, | |
| "learning_rate": 9.973333333333333e-06, | |
| "loss": 1.455, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.005333333333333333, | |
| "grad_norm": 47.25, | |
| "learning_rate": 9.946666666666667e-06, | |
| "loss": 1.414, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.008, | |
| "grad_norm": 7.375, | |
| "learning_rate": 9.920000000000002e-06, | |
| "loss": 1.2805, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.010666666666666666, | |
| "grad_norm": 6.78125, | |
| "learning_rate": 9.893333333333334e-06, | |
| "loss": 1.1713, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.013333333333333334, | |
| "grad_norm": 10.1875, | |
| "learning_rate": 9.866666666666668e-06, | |
| "loss": 1.1444, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.016, | |
| "grad_norm": 8.5, | |
| "learning_rate": 9.84e-06, | |
| "loss": 1.0357, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.018666666666666668, | |
| "grad_norm": 11.5, | |
| "learning_rate": 9.813333333333333e-06, | |
| "loss": 1.1974, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.021333333333333333, | |
| "grad_norm": 0.0, | |
| "learning_rate": 9.786666666666667e-06, | |
| "loss": 1.1164, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 0.024, | |
| "grad_norm": 6.8125, | |
| "learning_rate": 9.760000000000001e-06, | |
| "loss": 0.9679, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 0.02666666666666667, | |
| "grad_norm": 6.90625, | |
| "learning_rate": 9.733333333333334e-06, | |
| "loss": 1.0737, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.029333333333333333, | |
| "grad_norm": 5.84375, | |
| "learning_rate": 9.706666666666668e-06, | |
| "loss": 1.0582, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 0.032, | |
| "grad_norm": 6.15625, | |
| "learning_rate": 9.68e-06, | |
| "loss": 0.9273, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 0.034666666666666665, | |
| "grad_norm": 12.6875, | |
| "learning_rate": 9.653333333333335e-06, | |
| "loss": 1.2359, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 0.037333333333333336, | |
| "grad_norm": 14.8125, | |
| "learning_rate": 9.626666666666667e-06, | |
| "loss": 1.0849, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 0.04, | |
| "grad_norm": 4.1875, | |
| "learning_rate": 9.600000000000001e-06, | |
| "loss": 1.135, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.042666666666666665, | |
| "grad_norm": 5.0625, | |
| "learning_rate": 9.573333333333334e-06, | |
| "loss": 1.0258, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 0.04533333333333334, | |
| "grad_norm": 5.0625, | |
| "learning_rate": 9.546666666666668e-06, | |
| "loss": 1.1092, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 0.048, | |
| "grad_norm": 4.625, | |
| "learning_rate": 9.52e-06, | |
| "loss": 1.075, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 0.050666666666666665, | |
| "grad_norm": 8.25, | |
| "learning_rate": 9.493333333333334e-06, | |
| "loss": 1.065, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 0.05333333333333334, | |
| "grad_norm": 6.15625, | |
| "learning_rate": 9.466666666666667e-06, | |
| "loss": 1.0102, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 0.056, | |
| "grad_norm": 7.8125, | |
| "learning_rate": 9.440000000000001e-06, | |
| "loss": 1.0172, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 0.058666666666666666, | |
| "grad_norm": 12.1875, | |
| "learning_rate": 9.413333333333334e-06, | |
| "loss": 1.2053, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 0.06133333333333333, | |
| "grad_norm": 5.40625, | |
| "learning_rate": 9.386666666666668e-06, | |
| "loss": 0.9699, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 0.064, | |
| "grad_norm": 10.8125, | |
| "learning_rate": 9.360000000000002e-06, | |
| "loss": 1.0698, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 0.06666666666666667, | |
| "grad_norm": 4.71875, | |
| "learning_rate": 9.333333333333334e-06, | |
| "loss": 0.9594, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.06933333333333333, | |
| "grad_norm": 18.75, | |
| "learning_rate": 9.306666666666667e-06, | |
| "loss": 1.0108, | |
| "step": 520 | |
| }, | |
| { | |
| "epoch": 0.072, | |
| "grad_norm": 10.0, | |
| "learning_rate": 9.280000000000001e-06, | |
| "loss": 1.0552, | |
| "step": 540 | |
| }, | |
| { | |
| "epoch": 0.07466666666666667, | |
| "grad_norm": 6.71875, | |
| "learning_rate": 9.253333333333333e-06, | |
| "loss": 0.923, | |
| "step": 560 | |
| }, | |
| { | |
| "epoch": 0.07733333333333334, | |
| "grad_norm": 8.4375, | |
| "learning_rate": 9.226666666666668e-06, | |
| "loss": 0.8475, | |
| "step": 580 | |
| }, | |
| { | |
| "epoch": 0.08, | |
| "grad_norm": 10.625, | |
| "learning_rate": 9.200000000000002e-06, | |
| "loss": 0.9403, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 0.08266666666666667, | |
| "grad_norm": 7.4375, | |
| "learning_rate": 9.173333333333334e-06, | |
| "loss": 1.0269, | |
| "step": 620 | |
| }, | |
| { | |
| "epoch": 0.08533333333333333, | |
| "grad_norm": 10.875, | |
| "learning_rate": 9.146666666666667e-06, | |
| "loss": 0.8391, | |
| "step": 640 | |
| }, | |
| { | |
| "epoch": 0.088, | |
| "grad_norm": 7.4375, | |
| "learning_rate": 9.12e-06, | |
| "loss": 0.9461, | |
| "step": 660 | |
| }, | |
| { | |
| "epoch": 0.09066666666666667, | |
| "grad_norm": 5.34375, | |
| "learning_rate": 9.093333333333333e-06, | |
| "loss": 1.006, | |
| "step": 680 | |
| }, | |
| { | |
| "epoch": 0.09333333333333334, | |
| "grad_norm": 4.90625, | |
| "learning_rate": 9.066666666666667e-06, | |
| "loss": 0.9304, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 0.096, | |
| "grad_norm": 9.3125, | |
| "learning_rate": 9.040000000000002e-06, | |
| "loss": 0.9569, | |
| "step": 720 | |
| }, | |
| { | |
| "epoch": 0.09866666666666667, | |
| "grad_norm": 4.90625, | |
| "learning_rate": 9.013333333333334e-06, | |
| "loss": 0.9264, | |
| "step": 740 | |
| }, | |
| { | |
| "epoch": 0.10133333333333333, | |
| "grad_norm": 10.375, | |
| "learning_rate": 8.986666666666666e-06, | |
| "loss": 0.9695, | |
| "step": 760 | |
| }, | |
| { | |
| "epoch": 0.104, | |
| "grad_norm": 6.0, | |
| "learning_rate": 8.96e-06, | |
| "loss": 0.8603, | |
| "step": 780 | |
| }, | |
| { | |
| "epoch": 0.10666666666666667, | |
| "grad_norm": 7.46875, | |
| "learning_rate": 8.933333333333333e-06, | |
| "loss": 1.0748, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 0.10933333333333334, | |
| "grad_norm": 4.25, | |
| "learning_rate": 8.906666666666667e-06, | |
| "loss": 0.8817, | |
| "step": 820 | |
| }, | |
| { | |
| "epoch": 0.112, | |
| "grad_norm": 10.1875, | |
| "learning_rate": 8.880000000000001e-06, | |
| "loss": 1.0953, | |
| "step": 840 | |
| }, | |
| { | |
| "epoch": 0.11466666666666667, | |
| "grad_norm": 8.9375, | |
| "learning_rate": 8.853333333333334e-06, | |
| "loss": 0.9467, | |
| "step": 860 | |
| }, | |
| { | |
| "epoch": 0.11733333333333333, | |
| "grad_norm": 11.0, | |
| "learning_rate": 8.826666666666668e-06, | |
| "loss": 0.8218, | |
| "step": 880 | |
| }, | |
| { | |
| "epoch": 0.12, | |
| "grad_norm": 8.25, | |
| "learning_rate": 8.8e-06, | |
| "loss": 0.7804, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 0.12266666666666666, | |
| "grad_norm": 5.9375, | |
| "learning_rate": 8.773333333333333e-06, | |
| "loss": 0.8919, | |
| "step": 920 | |
| }, | |
| { | |
| "epoch": 0.12533333333333332, | |
| "grad_norm": 10.0, | |
| "learning_rate": 8.746666666666667e-06, | |
| "loss": 0.9852, | |
| "step": 940 | |
| }, | |
| { | |
| "epoch": 0.128, | |
| "grad_norm": 8.5625, | |
| "learning_rate": 8.720000000000001e-06, | |
| "loss": 0.774, | |
| "step": 960 | |
| }, | |
| { | |
| "epoch": 0.13066666666666665, | |
| "grad_norm": 6.75, | |
| "learning_rate": 8.693333333333334e-06, | |
| "loss": 0.9204, | |
| "step": 980 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 6.59375, | |
| "learning_rate": 8.666666666666668e-06, | |
| "loss": 0.9892, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 0.136, | |
| "grad_norm": 6.34375, | |
| "learning_rate": 8.64e-06, | |
| "loss": 0.8327, | |
| "step": 1020 | |
| }, | |
| { | |
| "epoch": 0.13866666666666666, | |
| "grad_norm": 7.3125, | |
| "learning_rate": 8.613333333333333e-06, | |
| "loss": 0.8612, | |
| "step": 1040 | |
| }, | |
| { | |
| "epoch": 0.14133333333333334, | |
| "grad_norm": 5.40625, | |
| "learning_rate": 8.586666666666667e-06, | |
| "loss": 0.9346, | |
| "step": 1060 | |
| }, | |
| { | |
| "epoch": 0.144, | |
| "grad_norm": 5.9375, | |
| "learning_rate": 8.560000000000001e-06, | |
| "loss": 0.8235, | |
| "step": 1080 | |
| }, | |
| { | |
| "epoch": 0.14666666666666667, | |
| "grad_norm": 6.21875, | |
| "learning_rate": 8.533333333333335e-06, | |
| "loss": 0.8926, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 0.14933333333333335, | |
| "grad_norm": 6.75, | |
| "learning_rate": 8.506666666666668e-06, | |
| "loss": 0.8275, | |
| "step": 1120 | |
| }, | |
| { | |
| "epoch": 0.152, | |
| "grad_norm": 12.75, | |
| "learning_rate": 8.48e-06, | |
| "loss": 0.8427, | |
| "step": 1140 | |
| }, | |
| { | |
| "epoch": 0.15466666666666667, | |
| "grad_norm": 4.75, | |
| "learning_rate": 8.453333333333334e-06, | |
| "loss": 0.8847, | |
| "step": 1160 | |
| }, | |
| { | |
| "epoch": 0.15733333333333333, | |
| "grad_norm": 7.0, | |
| "learning_rate": 8.426666666666667e-06, | |
| "loss": 0.9505, | |
| "step": 1180 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 5.5625, | |
| "learning_rate": 8.400000000000001e-06, | |
| "loss": 0.9619, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 0.16266666666666665, | |
| "grad_norm": 5.8125, | |
| "learning_rate": 8.373333333333335e-06, | |
| "loss": 0.9071, | |
| "step": 1220 | |
| }, | |
| { | |
| "epoch": 0.16533333333333333, | |
| "grad_norm": 7.125, | |
| "learning_rate": 8.346666666666668e-06, | |
| "loss": 0.7582, | |
| "step": 1240 | |
| }, | |
| { | |
| "epoch": 0.168, | |
| "grad_norm": 4.0, | |
| "learning_rate": 8.32e-06, | |
| "loss": 0.8989, | |
| "step": 1260 | |
| }, | |
| { | |
| "epoch": 0.17066666666666666, | |
| "grad_norm": 11.375, | |
| "learning_rate": 8.293333333333334e-06, | |
| "loss": 0.8901, | |
| "step": 1280 | |
| }, | |
| { | |
| "epoch": 0.17333333333333334, | |
| "grad_norm": 15.1875, | |
| "learning_rate": 8.266666666666667e-06, | |
| "loss": 0.9268, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 0.176, | |
| "grad_norm": 6.3125, | |
| "learning_rate": 8.24e-06, | |
| "loss": 0.8835, | |
| "step": 1320 | |
| }, | |
| { | |
| "epoch": 0.17866666666666667, | |
| "grad_norm": 7.9375, | |
| "learning_rate": 8.213333333333335e-06, | |
| "loss": 1.0393, | |
| "step": 1340 | |
| }, | |
| { | |
| "epoch": 0.18133333333333335, | |
| "grad_norm": 4.875, | |
| "learning_rate": 8.186666666666667e-06, | |
| "loss": 0.8774, | |
| "step": 1360 | |
| }, | |
| { | |
| "epoch": 0.184, | |
| "grad_norm": 7.53125, | |
| "learning_rate": 8.16e-06, | |
| "loss": 0.8316, | |
| "step": 1380 | |
| }, | |
| { | |
| "epoch": 0.18666666666666668, | |
| "grad_norm": 9.4375, | |
| "learning_rate": 8.133333333333334e-06, | |
| "loss": 0.8799, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 0.18933333333333333, | |
| "grad_norm": 7.4375, | |
| "learning_rate": 8.106666666666666e-06, | |
| "loss": 0.9833, | |
| "step": 1420 | |
| }, | |
| { | |
| "epoch": 0.192, | |
| "grad_norm": 17.625, | |
| "learning_rate": 8.08e-06, | |
| "loss": 0.8978, | |
| "step": 1440 | |
| }, | |
| { | |
| "epoch": 0.19466666666666665, | |
| "grad_norm": 8.75, | |
| "learning_rate": 8.053333333333335e-06, | |
| "loss": 0.8684, | |
| "step": 1460 | |
| }, | |
| { | |
| "epoch": 0.19733333333333333, | |
| "grad_norm": 7.09375, | |
| "learning_rate": 8.026666666666667e-06, | |
| "loss": 0.9755, | |
| "step": 1480 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "grad_norm": 8.75, | |
| "learning_rate": 8.000000000000001e-06, | |
| "loss": 0.8681, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 0.20266666666666666, | |
| "grad_norm": 6.84375, | |
| "learning_rate": 7.973333333333334e-06, | |
| "loss": 0.9012, | |
| "step": 1520 | |
| }, | |
| { | |
| "epoch": 0.20533333333333334, | |
| "grad_norm": 5.9375, | |
| "learning_rate": 7.946666666666666e-06, | |
| "loss": 0.8758, | |
| "step": 1540 | |
| }, | |
| { | |
| "epoch": 0.208, | |
| "grad_norm": 5.78125, | |
| "learning_rate": 7.92e-06, | |
| "loss": 1.0684, | |
| "step": 1560 | |
| }, | |
| { | |
| "epoch": 0.21066666666666667, | |
| "grad_norm": 5.125, | |
| "learning_rate": 7.893333333333335e-06, | |
| "loss": 0.8874, | |
| "step": 1580 | |
| }, | |
| { | |
| "epoch": 0.21333333333333335, | |
| "grad_norm": 8.1875, | |
| "learning_rate": 7.866666666666667e-06, | |
| "loss": 0.7795, | |
| "step": 1600 | |
| }, | |
| { | |
| "epoch": 0.216, | |
| "grad_norm": 8.0, | |
| "learning_rate": 7.840000000000001e-06, | |
| "loss": 0.9483, | |
| "step": 1620 | |
| }, | |
| { | |
| "epoch": 0.21866666666666668, | |
| "grad_norm": 5.6875, | |
| "learning_rate": 7.813333333333334e-06, | |
| "loss": 0.8876, | |
| "step": 1640 | |
| }, | |
| { | |
| "epoch": 0.22133333333333333, | |
| "grad_norm": 6.25, | |
| "learning_rate": 7.786666666666666e-06, | |
| "loss": 0.8128, | |
| "step": 1660 | |
| }, | |
| { | |
| "epoch": 0.224, | |
| "grad_norm": 6.3125, | |
| "learning_rate": 7.76e-06, | |
| "loss": 0.8657, | |
| "step": 1680 | |
| }, | |
| { | |
| "epoch": 0.22666666666666666, | |
| "grad_norm": 4.9375, | |
| "learning_rate": 7.733333333333334e-06, | |
| "loss": 0.8157, | |
| "step": 1700 | |
| }, | |
| { | |
| "epoch": 0.22933333333333333, | |
| "grad_norm": 12.5, | |
| "learning_rate": 7.706666666666669e-06, | |
| "loss": 0.8908, | |
| "step": 1720 | |
| }, | |
| { | |
| "epoch": 0.232, | |
| "grad_norm": 7.03125, | |
| "learning_rate": 7.680000000000001e-06, | |
| "loss": 1.0434, | |
| "step": 1740 | |
| }, | |
| { | |
| "epoch": 0.23466666666666666, | |
| "grad_norm": 13.75, | |
| "learning_rate": 7.653333333333333e-06, | |
| "loss": 0.9352, | |
| "step": 1760 | |
| }, | |
| { | |
| "epoch": 0.23733333333333334, | |
| "grad_norm": 5.53125, | |
| "learning_rate": 7.626666666666668e-06, | |
| "loss": 0.9291, | |
| "step": 1780 | |
| }, | |
| { | |
| "epoch": 0.24, | |
| "grad_norm": 6.0, | |
| "learning_rate": 7.600000000000001e-06, | |
| "loss": 0.8934, | |
| "step": 1800 | |
| }, | |
| { | |
| "epoch": 0.24266666666666667, | |
| "grad_norm": 7.8125, | |
| "learning_rate": 7.573333333333333e-06, | |
| "loss": 0.8937, | |
| "step": 1820 | |
| }, | |
| { | |
| "epoch": 0.24533333333333332, | |
| "grad_norm": 6.625, | |
| "learning_rate": 7.5466666666666675e-06, | |
| "loss": 0.9843, | |
| "step": 1840 | |
| }, | |
| { | |
| "epoch": 0.248, | |
| "grad_norm": 7.90625, | |
| "learning_rate": 7.520000000000001e-06, | |
| "loss": 0.8546, | |
| "step": 1860 | |
| }, | |
| { | |
| "epoch": 0.25066666666666665, | |
| "grad_norm": 5.15625, | |
| "learning_rate": 7.493333333333333e-06, | |
| "loss": 0.9175, | |
| "step": 1880 | |
| }, | |
| { | |
| "epoch": 0.25333333333333335, | |
| "grad_norm": 6.03125, | |
| "learning_rate": 7.4666666666666675e-06, | |
| "loss": 0.782, | |
| "step": 1900 | |
| }, | |
| { | |
| "epoch": 0.256, | |
| "grad_norm": 6.125, | |
| "learning_rate": 7.440000000000001e-06, | |
| "loss": 0.9667, | |
| "step": 1920 | |
| }, | |
| { | |
| "epoch": 0.25866666666666666, | |
| "grad_norm": 5.9375, | |
| "learning_rate": 7.413333333333333e-06, | |
| "loss": 0.7783, | |
| "step": 1940 | |
| }, | |
| { | |
| "epoch": 0.2613333333333333, | |
| "grad_norm": 18.75, | |
| "learning_rate": 7.386666666666667e-06, | |
| "loss": 0.8433, | |
| "step": 1960 | |
| }, | |
| { | |
| "epoch": 0.264, | |
| "grad_norm": 3.984375, | |
| "learning_rate": 7.360000000000001e-06, | |
| "loss": 0.8342, | |
| "step": 1980 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 15.75, | |
| "learning_rate": 7.333333333333333e-06, | |
| "loss": 0.9988, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 0.2693333333333333, | |
| "grad_norm": 4.4375, | |
| "learning_rate": 7.306666666666667e-06, | |
| "loss": 0.843, | |
| "step": 2020 | |
| }, | |
| { | |
| "epoch": 0.272, | |
| "grad_norm": 8.9375, | |
| "learning_rate": 7.280000000000001e-06, | |
| "loss": 0.8488, | |
| "step": 2040 | |
| }, | |
| { | |
| "epoch": 0.27466666666666667, | |
| "grad_norm": 11.1875, | |
| "learning_rate": 7.253333333333335e-06, | |
| "loss": 0.9964, | |
| "step": 2060 | |
| }, | |
| { | |
| "epoch": 0.2773333333333333, | |
| "grad_norm": 6.21875, | |
| "learning_rate": 7.226666666666667e-06, | |
| "loss": 0.9402, | |
| "step": 2080 | |
| }, | |
| { | |
| "epoch": 0.28, | |
| "grad_norm": 5.75, | |
| "learning_rate": 7.2000000000000005e-06, | |
| "loss": 0.8615, | |
| "step": 2100 | |
| }, | |
| { | |
| "epoch": 0.2826666666666667, | |
| "grad_norm": 16.375, | |
| "learning_rate": 7.173333333333335e-06, | |
| "loss": 0.9559, | |
| "step": 2120 | |
| }, | |
| { | |
| "epoch": 0.2853333333333333, | |
| "grad_norm": 5.8125, | |
| "learning_rate": 7.146666666666667e-06, | |
| "loss": 1.0456, | |
| "step": 2140 | |
| }, | |
| { | |
| "epoch": 0.288, | |
| "grad_norm": 12.4375, | |
| "learning_rate": 7.1200000000000004e-06, | |
| "loss": 1.0042, | |
| "step": 2160 | |
| }, | |
| { | |
| "epoch": 0.2906666666666667, | |
| "grad_norm": 5.1875, | |
| "learning_rate": 7.093333333333335e-06, | |
| "loss": 0.9614, | |
| "step": 2180 | |
| }, | |
| { | |
| "epoch": 0.29333333333333333, | |
| "grad_norm": 10.4375, | |
| "learning_rate": 7.066666666666667e-06, | |
| "loss": 0.9375, | |
| "step": 2200 | |
| }, | |
| { | |
| "epoch": 0.296, | |
| "grad_norm": 7.71875, | |
| "learning_rate": 7.04e-06, | |
| "loss": 0.9026, | |
| "step": 2220 | |
| }, | |
| { | |
| "epoch": 0.2986666666666667, | |
| "grad_norm": 4.03125, | |
| "learning_rate": 7.0133333333333345e-06, | |
| "loss": 0.8792, | |
| "step": 2240 | |
| }, | |
| { | |
| "epoch": 0.30133333333333334, | |
| "grad_norm": 15.0625, | |
| "learning_rate": 6.986666666666667e-06, | |
| "loss": 0.7369, | |
| "step": 2260 | |
| }, | |
| { | |
| "epoch": 0.304, | |
| "grad_norm": 3.265625, | |
| "learning_rate": 6.96e-06, | |
| "loss": 0.9259, | |
| "step": 2280 | |
| }, | |
| { | |
| "epoch": 0.30666666666666664, | |
| "grad_norm": 4.78125, | |
| "learning_rate": 6.9333333333333344e-06, | |
| "loss": 0.8908, | |
| "step": 2300 | |
| }, | |
| { | |
| "epoch": 0.30933333333333335, | |
| "grad_norm": 14.9375, | |
| "learning_rate": 6.906666666666667e-06, | |
| "loss": 0.9648, | |
| "step": 2320 | |
| }, | |
| { | |
| "epoch": 0.312, | |
| "grad_norm": 25.375, | |
| "learning_rate": 6.88e-06, | |
| "loss": 0.8354, | |
| "step": 2340 | |
| }, | |
| { | |
| "epoch": 0.31466666666666665, | |
| "grad_norm": 6.1875, | |
| "learning_rate": 6.853333333333334e-06, | |
| "loss": 0.864, | |
| "step": 2360 | |
| }, | |
| { | |
| "epoch": 0.31733333333333336, | |
| "grad_norm": 7.1875, | |
| "learning_rate": 6.826666666666667e-06, | |
| "loss": 0.8624, | |
| "step": 2380 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 0.0, | |
| "learning_rate": 6.800000000000001e-06, | |
| "loss": 0.7185, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 0.32266666666666666, | |
| "grad_norm": 12.75, | |
| "learning_rate": 6.773333333333334e-06, | |
| "loss": 0.8361, | |
| "step": 2420 | |
| }, | |
| { | |
| "epoch": 0.3253333333333333, | |
| "grad_norm": 6.71875, | |
| "learning_rate": 6.746666666666667e-06, | |
| "loss": 0.7655, | |
| "step": 2440 | |
| }, | |
| { | |
| "epoch": 0.328, | |
| "grad_norm": 6.71875, | |
| "learning_rate": 6.720000000000001e-06, | |
| "loss": 0.9553, | |
| "step": 2460 | |
| }, | |
| { | |
| "epoch": 0.33066666666666666, | |
| "grad_norm": 5.8125, | |
| "learning_rate": 6.693333333333334e-06, | |
| "loss": 0.8216, | |
| "step": 2480 | |
| }, | |
| { | |
| "epoch": 0.3333333333333333, | |
| "grad_norm": 6.875, | |
| "learning_rate": 6.666666666666667e-06, | |
| "loss": 0.7825, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 0.336, | |
| "grad_norm": 6.8125, | |
| "learning_rate": 6.640000000000001e-06, | |
| "loss": 0.8339, | |
| "step": 2520 | |
| }, | |
| { | |
| "epoch": 0.33866666666666667, | |
| "grad_norm": 12.125, | |
| "learning_rate": 6.613333333333334e-06, | |
| "loss": 0.817, | |
| "step": 2540 | |
| }, | |
| { | |
| "epoch": 0.3413333333333333, | |
| "grad_norm": 6.40625, | |
| "learning_rate": 6.5866666666666666e-06, | |
| "loss": 0.9201, | |
| "step": 2560 | |
| }, | |
| { | |
| "epoch": 0.344, | |
| "grad_norm": 6.34375, | |
| "learning_rate": 6.560000000000001e-06, | |
| "loss": 0.7598, | |
| "step": 2580 | |
| }, | |
| { | |
| "epoch": 0.3466666666666667, | |
| "grad_norm": 9.5625, | |
| "learning_rate": 6.533333333333334e-06, | |
| "loss": 0.6929, | |
| "step": 2600 | |
| }, | |
| { | |
| "epoch": 0.34933333333333333, | |
| "grad_norm": 11.875, | |
| "learning_rate": 6.5066666666666665e-06, | |
| "loss": 0.9922, | |
| "step": 2620 | |
| }, | |
| { | |
| "epoch": 0.352, | |
| "grad_norm": 10.0, | |
| "learning_rate": 6.480000000000001e-06, | |
| "loss": 0.8939, | |
| "step": 2640 | |
| }, | |
| { | |
| "epoch": 0.3546666666666667, | |
| "grad_norm": 11.75, | |
| "learning_rate": 6.453333333333334e-06, | |
| "loss": 0.8085, | |
| "step": 2660 | |
| }, | |
| { | |
| "epoch": 0.35733333333333334, | |
| "grad_norm": 5.375, | |
| "learning_rate": 6.426666666666668e-06, | |
| "loss": 0.8599, | |
| "step": 2680 | |
| }, | |
| { | |
| "epoch": 0.36, | |
| "grad_norm": 10.0, | |
| "learning_rate": 6.4000000000000006e-06, | |
| "loss": 0.8337, | |
| "step": 2700 | |
| }, | |
| { | |
| "epoch": 0.3626666666666667, | |
| "grad_norm": 17.125, | |
| "learning_rate": 6.373333333333334e-06, | |
| "loss": 0.906, | |
| "step": 2720 | |
| }, | |
| { | |
| "epoch": 0.36533333333333334, | |
| "grad_norm": 7.75, | |
| "learning_rate": 6.346666666666668e-06, | |
| "loss": 0.7066, | |
| "step": 2740 | |
| }, | |
| { | |
| "epoch": 0.368, | |
| "grad_norm": 5.75, | |
| "learning_rate": 6.3200000000000005e-06, | |
| "loss": 0.7289, | |
| "step": 2760 | |
| }, | |
| { | |
| "epoch": 0.37066666666666664, | |
| "grad_norm": 24.125, | |
| "learning_rate": 6.293333333333334e-06, | |
| "loss": 0.8595, | |
| "step": 2780 | |
| }, | |
| { | |
| "epoch": 0.37333333333333335, | |
| "grad_norm": 5.875, | |
| "learning_rate": 6.266666666666668e-06, | |
| "loss": 0.8511, | |
| "step": 2800 | |
| }, | |
| { | |
| "epoch": 0.376, | |
| "grad_norm": 5.71875, | |
| "learning_rate": 6.24e-06, | |
| "loss": 0.8451, | |
| "step": 2820 | |
| }, | |
| { | |
| "epoch": 0.37866666666666665, | |
| "grad_norm": 11.8125, | |
| "learning_rate": 6.213333333333334e-06, | |
| "loss": 0.9961, | |
| "step": 2840 | |
| }, | |
| { | |
| "epoch": 0.38133333333333336, | |
| "grad_norm": 4.53125, | |
| "learning_rate": 6.186666666666668e-06, | |
| "loss": 0.7963, | |
| "step": 2860 | |
| }, | |
| { | |
| "epoch": 0.384, | |
| "grad_norm": 6.9375, | |
| "learning_rate": 6.16e-06, | |
| "loss": 0.8213, | |
| "step": 2880 | |
| }, | |
| { | |
| "epoch": 0.38666666666666666, | |
| "grad_norm": 6.3125, | |
| "learning_rate": 6.133333333333334e-06, | |
| "loss": 1.016, | |
| "step": 2900 | |
| }, | |
| { | |
| "epoch": 0.3893333333333333, | |
| "grad_norm": 7.34375, | |
| "learning_rate": 6.106666666666668e-06, | |
| "loss": 0.9049, | |
| "step": 2920 | |
| }, | |
| { | |
| "epoch": 0.392, | |
| "grad_norm": 6.875, | |
| "learning_rate": 6.08e-06, | |
| "loss": 0.8665, | |
| "step": 2940 | |
| }, | |
| { | |
| "epoch": 0.39466666666666667, | |
| "grad_norm": 13.9375, | |
| "learning_rate": 6.0533333333333335e-06, | |
| "loss": 0.998, | |
| "step": 2960 | |
| }, | |
| { | |
| "epoch": 0.3973333333333333, | |
| "grad_norm": 6.78125, | |
| "learning_rate": 6.026666666666668e-06, | |
| "loss": 0.8095, | |
| "step": 2980 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 7.5, | |
| "learning_rate": 6e-06, | |
| "loss": 0.9424, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 0.4026666666666667, | |
| "grad_norm": 25.125, | |
| "learning_rate": 5.973333333333334e-06, | |
| "loss": 0.8398, | |
| "step": 3020 | |
| }, | |
| { | |
| "epoch": 0.4053333333333333, | |
| "grad_norm": 6.8125, | |
| "learning_rate": 5.946666666666668e-06, | |
| "loss": 0.9417, | |
| "step": 3040 | |
| }, | |
| { | |
| "epoch": 0.408, | |
| "grad_norm": 12.875, | |
| "learning_rate": 5.92e-06, | |
| "loss": 0.8075, | |
| "step": 3060 | |
| }, | |
| { | |
| "epoch": 0.4106666666666667, | |
| "grad_norm": 12.3125, | |
| "learning_rate": 5.893333333333334e-06, | |
| "loss": 1.0305, | |
| "step": 3080 | |
| }, | |
| { | |
| "epoch": 0.41333333333333333, | |
| "grad_norm": 8.9375, | |
| "learning_rate": 5.8666666666666675e-06, | |
| "loss": 0.86, | |
| "step": 3100 | |
| }, | |
| { | |
| "epoch": 0.416, | |
| "grad_norm": 8.5625, | |
| "learning_rate": 5.84e-06, | |
| "loss": 0.8449, | |
| "step": 3120 | |
| }, | |
| { | |
| "epoch": 0.4186666666666667, | |
| "grad_norm": 12.75, | |
| "learning_rate": 5.813333333333334e-06, | |
| "loss": 0.8675, | |
| "step": 3140 | |
| }, | |
| { | |
| "epoch": 0.42133333333333334, | |
| "grad_norm": 13.3125, | |
| "learning_rate": 5.7866666666666674e-06, | |
| "loss": 0.9272, | |
| "step": 3160 | |
| }, | |
| { | |
| "epoch": 0.424, | |
| "grad_norm": 7.34375, | |
| "learning_rate": 5.76e-06, | |
| "loss": 0.7701, | |
| "step": 3180 | |
| }, | |
| { | |
| "epoch": 0.4266666666666667, | |
| "grad_norm": 5.25, | |
| "learning_rate": 5.733333333333334e-06, | |
| "loss": 0.7484, | |
| "step": 3200 | |
| }, | |
| { | |
| "epoch": 0.42933333333333334, | |
| "grad_norm": 5.21875, | |
| "learning_rate": 5.706666666666667e-06, | |
| "loss": 0.863, | |
| "step": 3220 | |
| }, | |
| { | |
| "epoch": 0.432, | |
| "grad_norm": 4.34375, | |
| "learning_rate": 5.68e-06, | |
| "loss": 0.8175, | |
| "step": 3240 | |
| }, | |
| { | |
| "epoch": 0.43466666666666665, | |
| "grad_norm": 7.90625, | |
| "learning_rate": 5.653333333333334e-06, | |
| "loss": 0.8581, | |
| "step": 3260 | |
| }, | |
| { | |
| "epoch": 0.43733333333333335, | |
| "grad_norm": 11.125, | |
| "learning_rate": 5.626666666666667e-06, | |
| "loss": 0.7758, | |
| "step": 3280 | |
| }, | |
| { | |
| "epoch": 0.44, | |
| "grad_norm": 6.53125, | |
| "learning_rate": 5.600000000000001e-06, | |
| "loss": 0.9018, | |
| "step": 3300 | |
| }, | |
| { | |
| "epoch": 0.44266666666666665, | |
| "grad_norm": 5.3125, | |
| "learning_rate": 5.573333333333334e-06, | |
| "loss": 0.7962, | |
| "step": 3320 | |
| }, | |
| { | |
| "epoch": 0.44533333333333336, | |
| "grad_norm": 5.21875, | |
| "learning_rate": 5.546666666666667e-06, | |
| "loss": 0.9622, | |
| "step": 3340 | |
| }, | |
| { | |
| "epoch": 0.448, | |
| "grad_norm": 7.0, | |
| "learning_rate": 5.5200000000000005e-06, | |
| "loss": 0.8691, | |
| "step": 3360 | |
| }, | |
| { | |
| "epoch": 0.45066666666666666, | |
| "grad_norm": 8.125, | |
| "learning_rate": 5.493333333333334e-06, | |
| "loss": 0.8738, | |
| "step": 3380 | |
| }, | |
| { | |
| "epoch": 0.4533333333333333, | |
| "grad_norm": 7.8125, | |
| "learning_rate": 5.466666666666667e-06, | |
| "loss": 0.8511, | |
| "step": 3400 | |
| }, | |
| { | |
| "epoch": 0.456, | |
| "grad_norm": 5.875, | |
| "learning_rate": 5.4400000000000004e-06, | |
| "loss": 0.7783, | |
| "step": 3420 | |
| }, | |
| { | |
| "epoch": 0.45866666666666667, | |
| "grad_norm": 5.34375, | |
| "learning_rate": 5.413333333333334e-06, | |
| "loss": 0.887, | |
| "step": 3440 | |
| }, | |
| { | |
| "epoch": 0.4613333333333333, | |
| "grad_norm": 9.4375, | |
| "learning_rate": 5.386666666666667e-06, | |
| "loss": 0.8336, | |
| "step": 3460 | |
| }, | |
| { | |
| "epoch": 0.464, | |
| "grad_norm": 7.65625, | |
| "learning_rate": 5.36e-06, | |
| "loss": 0.9941, | |
| "step": 3480 | |
| }, | |
| { | |
| "epoch": 0.4666666666666667, | |
| "grad_norm": 6.59375, | |
| "learning_rate": 5.333333333333334e-06, | |
| "loss": 0.8369, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 0.4693333333333333, | |
| "grad_norm": 6.90625, | |
| "learning_rate": 5.306666666666667e-06, | |
| "loss": 0.9606, | |
| "step": 3520 | |
| }, | |
| { | |
| "epoch": 0.472, | |
| "grad_norm": 5.6875, | |
| "learning_rate": 5.28e-06, | |
| "loss": 0.9598, | |
| "step": 3540 | |
| }, | |
| { | |
| "epoch": 0.4746666666666667, | |
| "grad_norm": 8.6875, | |
| "learning_rate": 5.2533333333333336e-06, | |
| "loss": 0.8372, | |
| "step": 3560 | |
| }, | |
| { | |
| "epoch": 0.47733333333333333, | |
| "grad_norm": 6.71875, | |
| "learning_rate": 5.226666666666667e-06, | |
| "loss": 0.9693, | |
| "step": 3580 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "grad_norm": 4.5625, | |
| "learning_rate": 5.2e-06, | |
| "loss": 0.9033, | |
| "step": 3600 | |
| }, | |
| { | |
| "epoch": 0.4826666666666667, | |
| "grad_norm": 11.25, | |
| "learning_rate": 5.1733333333333335e-06, | |
| "loss": 0.7576, | |
| "step": 3620 | |
| }, | |
| { | |
| "epoch": 0.48533333333333334, | |
| "grad_norm": 7.625, | |
| "learning_rate": 5.146666666666668e-06, | |
| "loss": 0.8384, | |
| "step": 3640 | |
| }, | |
| { | |
| "epoch": 0.488, | |
| "grad_norm": 12.875, | |
| "learning_rate": 5.12e-06, | |
| "loss": 0.8029, | |
| "step": 3660 | |
| }, | |
| { | |
| "epoch": 0.49066666666666664, | |
| "grad_norm": 6.6875, | |
| "learning_rate": 5.093333333333333e-06, | |
| "loss": 0.8148, | |
| "step": 3680 | |
| }, | |
| { | |
| "epoch": 0.49333333333333335, | |
| "grad_norm": 2.875, | |
| "learning_rate": 5.0666666666666676e-06, | |
| "loss": 0.8445, | |
| "step": 3700 | |
| }, | |
| { | |
| "epoch": 0.496, | |
| "grad_norm": 7.96875, | |
| "learning_rate": 5.04e-06, | |
| "loss": 0.8861, | |
| "step": 3720 | |
| }, | |
| { | |
| "epoch": 0.49866666666666665, | |
| "grad_norm": 6.84375, | |
| "learning_rate": 5.013333333333333e-06, | |
| "loss": 0.8578, | |
| "step": 3740 | |
| }, | |
| { | |
| "epoch": 0.5013333333333333, | |
| "grad_norm": 8.9375, | |
| "learning_rate": 4.986666666666667e-06, | |
| "loss": 0.8307, | |
| "step": 3760 | |
| }, | |
| { | |
| "epoch": 0.504, | |
| "grad_norm": 6.25, | |
| "learning_rate": 4.960000000000001e-06, | |
| "loss": 0.834, | |
| "step": 3780 | |
| }, | |
| { | |
| "epoch": 0.5066666666666667, | |
| "grad_norm": 6.90625, | |
| "learning_rate": 4.933333333333334e-06, | |
| "loss": 0.8883, | |
| "step": 3800 | |
| }, | |
| { | |
| "epoch": 0.5093333333333333, | |
| "grad_norm": 8.8125, | |
| "learning_rate": 4.9066666666666666e-06, | |
| "loss": 1.0132, | |
| "step": 3820 | |
| }, | |
| { | |
| "epoch": 0.512, | |
| "grad_norm": 6.34375, | |
| "learning_rate": 4.880000000000001e-06, | |
| "loss": 0.8095, | |
| "step": 3840 | |
| }, | |
| { | |
| "epoch": 0.5146666666666667, | |
| "grad_norm": 16.25, | |
| "learning_rate": 4.853333333333334e-06, | |
| "loss": 0.7855, | |
| "step": 3860 | |
| }, | |
| { | |
| "epoch": 0.5173333333333333, | |
| "grad_norm": 3.71875, | |
| "learning_rate": 4.826666666666667e-06, | |
| "loss": 0.9392, | |
| "step": 3880 | |
| }, | |
| { | |
| "epoch": 0.52, | |
| "grad_norm": 10.6875, | |
| "learning_rate": 4.800000000000001e-06, | |
| "loss": 0.8816, | |
| "step": 3900 | |
| }, | |
| { | |
| "epoch": 0.5226666666666666, | |
| "grad_norm": 0.0, | |
| "learning_rate": 4.773333333333334e-06, | |
| "loss": 0.9275, | |
| "step": 3920 | |
| }, | |
| { | |
| "epoch": 0.5253333333333333, | |
| "grad_norm": 8.625, | |
| "learning_rate": 4.746666666666667e-06, | |
| "loss": 0.9474, | |
| "step": 3940 | |
| }, | |
| { | |
| "epoch": 0.528, | |
| "grad_norm": 16.75, | |
| "learning_rate": 4.7200000000000005e-06, | |
| "loss": 0.9811, | |
| "step": 3960 | |
| }, | |
| { | |
| "epoch": 0.5306666666666666, | |
| "grad_norm": 9.5, | |
| "learning_rate": 4.693333333333334e-06, | |
| "loss": 0.8538, | |
| "step": 3980 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 6.3125, | |
| "learning_rate": 4.666666666666667e-06, | |
| "loss": 0.8538, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 0.536, | |
| "grad_norm": 4.21875, | |
| "learning_rate": 4.6400000000000005e-06, | |
| "loss": 0.8279, | |
| "step": 4020 | |
| }, | |
| { | |
| "epoch": 0.5386666666666666, | |
| "grad_norm": 4.75, | |
| "learning_rate": 4.613333333333334e-06, | |
| "loss": 0.9307, | |
| "step": 4040 | |
| }, | |
| { | |
| "epoch": 0.5413333333333333, | |
| "grad_norm": 12.5625, | |
| "learning_rate": 4.586666666666667e-06, | |
| "loss": 0.8649, | |
| "step": 4060 | |
| }, | |
| { | |
| "epoch": 0.544, | |
| "grad_norm": 7.5, | |
| "learning_rate": 4.56e-06, | |
| "loss": 0.8741, | |
| "step": 4080 | |
| }, | |
| { | |
| "epoch": 0.5466666666666666, | |
| "grad_norm": 14.25, | |
| "learning_rate": 4.533333333333334e-06, | |
| "loss": 0.9643, | |
| "step": 4100 | |
| }, | |
| { | |
| "epoch": 0.5493333333333333, | |
| "grad_norm": 4.78125, | |
| "learning_rate": 4.506666666666667e-06, | |
| "loss": 0.8667, | |
| "step": 4120 | |
| }, | |
| { | |
| "epoch": 0.552, | |
| "grad_norm": 6.15625, | |
| "learning_rate": 4.48e-06, | |
| "loss": 0.8046, | |
| "step": 4140 | |
| }, | |
| { | |
| "epoch": 0.5546666666666666, | |
| "grad_norm": 7.03125, | |
| "learning_rate": 4.453333333333334e-06, | |
| "loss": 0.9223, | |
| "step": 4160 | |
| }, | |
| { | |
| "epoch": 0.5573333333333333, | |
| "grad_norm": 7.96875, | |
| "learning_rate": 4.426666666666667e-06, | |
| "loss": 0.8703, | |
| "step": 4180 | |
| }, | |
| { | |
| "epoch": 0.56, | |
| "grad_norm": 7.6875, | |
| "learning_rate": 4.4e-06, | |
| "loss": 1.0666, | |
| "step": 4200 | |
| }, | |
| { | |
| "epoch": 0.5626666666666666, | |
| "grad_norm": 8.1875, | |
| "learning_rate": 4.3733333333333335e-06, | |
| "loss": 0.9842, | |
| "step": 4220 | |
| }, | |
| { | |
| "epoch": 0.5653333333333334, | |
| "grad_norm": 7.0625, | |
| "learning_rate": 4.346666666666667e-06, | |
| "loss": 0.8589, | |
| "step": 4240 | |
| }, | |
| { | |
| "epoch": 0.568, | |
| "grad_norm": 10.375, | |
| "learning_rate": 4.32e-06, | |
| "loss": 0.7067, | |
| "step": 4260 | |
| }, | |
| { | |
| "epoch": 0.5706666666666667, | |
| "grad_norm": 5.25, | |
| "learning_rate": 4.2933333333333334e-06, | |
| "loss": 0.9755, | |
| "step": 4280 | |
| }, | |
| { | |
| "epoch": 0.5733333333333334, | |
| "grad_norm": 12.5625, | |
| "learning_rate": 4.266666666666668e-06, | |
| "loss": 0.7756, | |
| "step": 4300 | |
| }, | |
| { | |
| "epoch": 0.576, | |
| "grad_norm": 0.0, | |
| "learning_rate": 4.24e-06, | |
| "loss": 0.8783, | |
| "step": 4320 | |
| }, | |
| { | |
| "epoch": 0.5786666666666667, | |
| "grad_norm": 7.125, | |
| "learning_rate": 4.213333333333333e-06, | |
| "loss": 1.0166, | |
| "step": 4340 | |
| }, | |
| { | |
| "epoch": 0.5813333333333334, | |
| "grad_norm": 5.1875, | |
| "learning_rate": 4.1866666666666675e-06, | |
| "loss": 0.8475, | |
| "step": 4360 | |
| }, | |
| { | |
| "epoch": 0.584, | |
| "grad_norm": 4.34375, | |
| "learning_rate": 4.16e-06, | |
| "loss": 0.6802, | |
| "step": 4380 | |
| }, | |
| { | |
| "epoch": 0.5866666666666667, | |
| "grad_norm": 15.125, | |
| "learning_rate": 4.133333333333333e-06, | |
| "loss": 0.8837, | |
| "step": 4400 | |
| }, | |
| { | |
| "epoch": 0.5893333333333334, | |
| "grad_norm": 10.5, | |
| "learning_rate": 4.1066666666666674e-06, | |
| "loss": 1.0228, | |
| "step": 4420 | |
| }, | |
| { | |
| "epoch": 0.592, | |
| "grad_norm": 5.90625, | |
| "learning_rate": 4.08e-06, | |
| "loss": 0.843, | |
| "step": 4440 | |
| }, | |
| { | |
| "epoch": 0.5946666666666667, | |
| "grad_norm": 11.3125, | |
| "learning_rate": 4.053333333333333e-06, | |
| "loss": 0.8699, | |
| "step": 4460 | |
| }, | |
| { | |
| "epoch": 0.5973333333333334, | |
| "grad_norm": 18.375, | |
| "learning_rate": 4.026666666666667e-06, | |
| "loss": 0.933, | |
| "step": 4480 | |
| }, | |
| { | |
| "epoch": 0.6, | |
| "grad_norm": 9.3125, | |
| "learning_rate": 4.000000000000001e-06, | |
| "loss": 0.9347, | |
| "step": 4500 | |
| }, | |
| { | |
| "epoch": 0.6026666666666667, | |
| "grad_norm": 6.0, | |
| "learning_rate": 3.973333333333333e-06, | |
| "loss": 0.8948, | |
| "step": 4520 | |
| }, | |
| { | |
| "epoch": 0.6053333333333333, | |
| "grad_norm": 16.5, | |
| "learning_rate": 3.946666666666667e-06, | |
| "loss": 0.8145, | |
| "step": 4540 | |
| }, | |
| { | |
| "epoch": 0.608, | |
| "grad_norm": 9.875, | |
| "learning_rate": 3.920000000000001e-06, | |
| "loss": 0.9667, | |
| "step": 4560 | |
| }, | |
| { | |
| "epoch": 0.6106666666666667, | |
| "grad_norm": 31.75, | |
| "learning_rate": 3.893333333333333e-06, | |
| "loss": 1.0643, | |
| "step": 4580 | |
| }, | |
| { | |
| "epoch": 0.6133333333333333, | |
| "grad_norm": 6.5625, | |
| "learning_rate": 3.866666666666667e-06, | |
| "loss": 0.8706, | |
| "step": 4600 | |
| }, | |
| { | |
| "epoch": 0.616, | |
| "grad_norm": 11.375, | |
| "learning_rate": 3.8400000000000005e-06, | |
| "loss": 0.7251, | |
| "step": 4620 | |
| }, | |
| { | |
| "epoch": 0.6186666666666667, | |
| "grad_norm": 6.9375, | |
| "learning_rate": 3.813333333333334e-06, | |
| "loss": 0.96, | |
| "step": 4640 | |
| }, | |
| { | |
| "epoch": 0.6213333333333333, | |
| "grad_norm": 11.6875, | |
| "learning_rate": 3.7866666666666667e-06, | |
| "loss": 0.9132, | |
| "step": 4660 | |
| }, | |
| { | |
| "epoch": 0.624, | |
| "grad_norm": 18.25, | |
| "learning_rate": 3.7600000000000004e-06, | |
| "loss": 1.0296, | |
| "step": 4680 | |
| }, | |
| { | |
| "epoch": 0.6266666666666667, | |
| "grad_norm": 10.4375, | |
| "learning_rate": 3.7333333333333337e-06, | |
| "loss": 0.9027, | |
| "step": 4700 | |
| }, | |
| { | |
| "epoch": 0.6293333333333333, | |
| "grad_norm": 8.375, | |
| "learning_rate": 3.7066666666666666e-06, | |
| "loss": 0.7323, | |
| "step": 4720 | |
| }, | |
| { | |
| "epoch": 0.632, | |
| "grad_norm": 10.5, | |
| "learning_rate": 3.6800000000000003e-06, | |
| "loss": 0.9328, | |
| "step": 4740 | |
| }, | |
| { | |
| "epoch": 0.6346666666666667, | |
| "grad_norm": 5.0625, | |
| "learning_rate": 3.6533333333333336e-06, | |
| "loss": 0.7808, | |
| "step": 4760 | |
| }, | |
| { | |
| "epoch": 0.6373333333333333, | |
| "grad_norm": 6.59375, | |
| "learning_rate": 3.6266666666666674e-06, | |
| "loss": 0.9576, | |
| "step": 4780 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "grad_norm": 6.28125, | |
| "learning_rate": 3.6000000000000003e-06, | |
| "loss": 0.8316, | |
| "step": 4800 | |
| }, | |
| { | |
| "epoch": 0.6426666666666667, | |
| "grad_norm": 0.0, | |
| "learning_rate": 3.5733333333333336e-06, | |
| "loss": 0.6515, | |
| "step": 4820 | |
| }, | |
| { | |
| "epoch": 0.6453333333333333, | |
| "grad_norm": 9.625, | |
| "learning_rate": 3.5466666666666673e-06, | |
| "loss": 0.8541, | |
| "step": 4840 | |
| }, | |
| { | |
| "epoch": 0.648, | |
| "grad_norm": 6.21875, | |
| "learning_rate": 3.52e-06, | |
| "loss": 0.8417, | |
| "step": 4860 | |
| }, | |
| { | |
| "epoch": 0.6506666666666666, | |
| "grad_norm": 8.1875, | |
| "learning_rate": 3.4933333333333335e-06, | |
| "loss": 0.9216, | |
| "step": 4880 | |
| }, | |
| { | |
| "epoch": 0.6533333333333333, | |
| "grad_norm": 4.75, | |
| "learning_rate": 3.4666666666666672e-06, | |
| "loss": 0.9348, | |
| "step": 4900 | |
| }, | |
| { | |
| "epoch": 0.656, | |
| "grad_norm": 8.25, | |
| "learning_rate": 3.44e-06, | |
| "loss": 0.7977, | |
| "step": 4920 | |
| }, | |
| { | |
| "epoch": 0.6586666666666666, | |
| "grad_norm": 4.5625, | |
| "learning_rate": 3.4133333333333334e-06, | |
| "loss": 0.8787, | |
| "step": 4940 | |
| }, | |
| { | |
| "epoch": 0.6613333333333333, | |
| "grad_norm": 3.484375, | |
| "learning_rate": 3.386666666666667e-06, | |
| "loss": 0.8119, | |
| "step": 4960 | |
| }, | |
| { | |
| "epoch": 0.664, | |
| "grad_norm": 21.125, | |
| "learning_rate": 3.3600000000000004e-06, | |
| "loss": 0.9452, | |
| "step": 4980 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 7.59375, | |
| "learning_rate": 3.3333333333333333e-06, | |
| "loss": 0.7995, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 0.6693333333333333, | |
| "grad_norm": 6.21875, | |
| "learning_rate": 3.306666666666667e-06, | |
| "loss": 0.8576, | |
| "step": 5020 | |
| }, | |
| { | |
| "epoch": 0.672, | |
| "grad_norm": 17.875, | |
| "learning_rate": 3.2800000000000004e-06, | |
| "loss": 0.8936, | |
| "step": 5040 | |
| }, | |
| { | |
| "epoch": 0.6746666666666666, | |
| "grad_norm": 7.90625, | |
| "learning_rate": 3.2533333333333332e-06, | |
| "loss": 0.8069, | |
| "step": 5060 | |
| }, | |
| { | |
| "epoch": 0.6773333333333333, | |
| "grad_norm": 5.09375, | |
| "learning_rate": 3.226666666666667e-06, | |
| "loss": 0.8479, | |
| "step": 5080 | |
| }, | |
| { | |
| "epoch": 0.68, | |
| "grad_norm": 5.3125, | |
| "learning_rate": 3.2000000000000003e-06, | |
| "loss": 0.8548, | |
| "step": 5100 | |
| }, | |
| { | |
| "epoch": 0.6826666666666666, | |
| "grad_norm": 6.15625, | |
| "learning_rate": 3.173333333333334e-06, | |
| "loss": 0.8022, | |
| "step": 5120 | |
| }, | |
| { | |
| "epoch": 0.6853333333333333, | |
| "grad_norm": 4.6875, | |
| "learning_rate": 3.146666666666667e-06, | |
| "loss": 0.7463, | |
| "step": 5140 | |
| }, | |
| { | |
| "epoch": 0.688, | |
| "grad_norm": 7.28125, | |
| "learning_rate": 3.12e-06, | |
| "loss": 0.9768, | |
| "step": 5160 | |
| }, | |
| { | |
| "epoch": 0.6906666666666667, | |
| "grad_norm": 4.4375, | |
| "learning_rate": 3.093333333333334e-06, | |
| "loss": 0.8469, | |
| "step": 5180 | |
| }, | |
| { | |
| "epoch": 0.6933333333333334, | |
| "grad_norm": 5.71875, | |
| "learning_rate": 3.066666666666667e-06, | |
| "loss": 0.8344, | |
| "step": 5200 | |
| }, | |
| { | |
| "epoch": 0.696, | |
| "grad_norm": 7.625, | |
| "learning_rate": 3.04e-06, | |
| "loss": 0.8205, | |
| "step": 5220 | |
| }, | |
| { | |
| "epoch": 0.6986666666666667, | |
| "grad_norm": 4.875, | |
| "learning_rate": 3.013333333333334e-06, | |
| "loss": 0.8419, | |
| "step": 5240 | |
| }, | |
| { | |
| "epoch": 0.7013333333333334, | |
| "grad_norm": 5.46875, | |
| "learning_rate": 2.986666666666667e-06, | |
| "loss": 0.8327, | |
| "step": 5260 | |
| }, | |
| { | |
| "epoch": 0.704, | |
| "grad_norm": 12.25, | |
| "learning_rate": 2.96e-06, | |
| "loss": 0.8177, | |
| "step": 5280 | |
| }, | |
| { | |
| "epoch": 0.7066666666666667, | |
| "grad_norm": 3.421875, | |
| "learning_rate": 2.9333333333333338e-06, | |
| "loss": 0.7919, | |
| "step": 5300 | |
| }, | |
| { | |
| "epoch": 0.7093333333333334, | |
| "grad_norm": 4.5, | |
| "learning_rate": 2.906666666666667e-06, | |
| "loss": 0.9305, | |
| "step": 5320 | |
| }, | |
| { | |
| "epoch": 0.712, | |
| "grad_norm": 7.90625, | |
| "learning_rate": 2.88e-06, | |
| "loss": 0.7414, | |
| "step": 5340 | |
| }, | |
| { | |
| "epoch": 0.7146666666666667, | |
| "grad_norm": 10.0, | |
| "learning_rate": 2.8533333333333337e-06, | |
| "loss": 0.982, | |
| "step": 5360 | |
| }, | |
| { | |
| "epoch": 0.7173333333333334, | |
| "grad_norm": 17.0, | |
| "learning_rate": 2.826666666666667e-06, | |
| "loss": 0.8287, | |
| "step": 5380 | |
| }, | |
| { | |
| "epoch": 0.72, | |
| "grad_norm": 4.90625, | |
| "learning_rate": 2.8000000000000003e-06, | |
| "loss": 0.9346, | |
| "step": 5400 | |
| }, | |
| { | |
| "epoch": 0.7226666666666667, | |
| "grad_norm": 5.59375, | |
| "learning_rate": 2.7733333333333336e-06, | |
| "loss": 0.9072, | |
| "step": 5420 | |
| }, | |
| { | |
| "epoch": 0.7253333333333334, | |
| "grad_norm": 5.875, | |
| "learning_rate": 2.746666666666667e-06, | |
| "loss": 0.8976, | |
| "step": 5440 | |
| }, | |
| { | |
| "epoch": 0.728, | |
| "grad_norm": 7.46875, | |
| "learning_rate": 2.7200000000000002e-06, | |
| "loss": 0.9375, | |
| "step": 5460 | |
| }, | |
| { | |
| "epoch": 0.7306666666666667, | |
| "grad_norm": 3.96875, | |
| "learning_rate": 2.6933333333333335e-06, | |
| "loss": 0.8615, | |
| "step": 5480 | |
| }, | |
| { | |
| "epoch": 0.7333333333333333, | |
| "grad_norm": 7.8125, | |
| "learning_rate": 2.666666666666667e-06, | |
| "loss": 0.9002, | |
| "step": 5500 | |
| }, | |
| { | |
| "epoch": 0.736, | |
| "grad_norm": 14.3125, | |
| "learning_rate": 2.64e-06, | |
| "loss": 0.8602, | |
| "step": 5520 | |
| }, | |
| { | |
| "epoch": 0.7386666666666667, | |
| "grad_norm": 6.25, | |
| "learning_rate": 2.6133333333333334e-06, | |
| "loss": 0.9083, | |
| "step": 5540 | |
| }, | |
| { | |
| "epoch": 0.7413333333333333, | |
| "grad_norm": 2.609375, | |
| "learning_rate": 2.5866666666666667e-06, | |
| "loss": 0.8616, | |
| "step": 5560 | |
| }, | |
| { | |
| "epoch": 0.744, | |
| "grad_norm": 7.75, | |
| "learning_rate": 2.56e-06, | |
| "loss": 0.9167, | |
| "step": 5580 | |
| }, | |
| { | |
| "epoch": 0.7466666666666667, | |
| "grad_norm": 9.625, | |
| "learning_rate": 2.5333333333333338e-06, | |
| "loss": 0.9719, | |
| "step": 5600 | |
| }, | |
| { | |
| "epoch": 0.7493333333333333, | |
| "grad_norm": 2.4375, | |
| "learning_rate": 2.5066666666666667e-06, | |
| "loss": 0.9433, | |
| "step": 5620 | |
| }, | |
| { | |
| "epoch": 0.752, | |
| "grad_norm": 6.9375, | |
| "learning_rate": 2.4800000000000004e-06, | |
| "loss": 0.9686, | |
| "step": 5640 | |
| }, | |
| { | |
| "epoch": 0.7546666666666667, | |
| "grad_norm": 5.8125, | |
| "learning_rate": 2.4533333333333333e-06, | |
| "loss": 0.9819, | |
| "step": 5660 | |
| }, | |
| { | |
| "epoch": 0.7573333333333333, | |
| "grad_norm": 9.6875, | |
| "learning_rate": 2.426666666666667e-06, | |
| "loss": 0.9684, | |
| "step": 5680 | |
| }, | |
| { | |
| "epoch": 0.76, | |
| "grad_norm": 8.625, | |
| "learning_rate": 2.4000000000000003e-06, | |
| "loss": 0.9163, | |
| "step": 5700 | |
| }, | |
| { | |
| "epoch": 0.7626666666666667, | |
| "grad_norm": 11.75, | |
| "learning_rate": 2.3733333333333336e-06, | |
| "loss": 0.8858, | |
| "step": 5720 | |
| }, | |
| { | |
| "epoch": 0.7653333333333333, | |
| "grad_norm": 5.875, | |
| "learning_rate": 2.346666666666667e-06, | |
| "loss": 0.8227, | |
| "step": 5740 | |
| }, | |
| { | |
| "epoch": 0.768, | |
| "grad_norm": 4.375, | |
| "learning_rate": 2.3200000000000002e-06, | |
| "loss": 0.8237, | |
| "step": 5760 | |
| }, | |
| { | |
| "epoch": 0.7706666666666667, | |
| "grad_norm": 12.1875, | |
| "learning_rate": 2.2933333333333335e-06, | |
| "loss": 0.9655, | |
| "step": 5780 | |
| }, | |
| { | |
| "epoch": 0.7733333333333333, | |
| "grad_norm": 5.9375, | |
| "learning_rate": 2.266666666666667e-06, | |
| "loss": 0.6897, | |
| "step": 5800 | |
| }, | |
| { | |
| "epoch": 0.776, | |
| "grad_norm": 16.875, | |
| "learning_rate": 2.24e-06, | |
| "loss": 0.8354, | |
| "step": 5820 | |
| }, | |
| { | |
| "epoch": 0.7786666666666666, | |
| "grad_norm": 9.75, | |
| "learning_rate": 2.2133333333333335e-06, | |
| "loss": 0.8695, | |
| "step": 5840 | |
| }, | |
| { | |
| "epoch": 0.7813333333333333, | |
| "grad_norm": 9.5625, | |
| "learning_rate": 2.1866666666666668e-06, | |
| "loss": 0.7503, | |
| "step": 5860 | |
| }, | |
| { | |
| "epoch": 0.784, | |
| "grad_norm": 7.53125, | |
| "learning_rate": 2.16e-06, | |
| "loss": 0.9109, | |
| "step": 5880 | |
| }, | |
| { | |
| "epoch": 0.7866666666666666, | |
| "grad_norm": 0.0, | |
| "learning_rate": 2.133333333333334e-06, | |
| "loss": 0.8247, | |
| "step": 5900 | |
| }, | |
| { | |
| "epoch": 0.7893333333333333, | |
| "grad_norm": 6.4375, | |
| "learning_rate": 2.1066666666666667e-06, | |
| "loss": 0.808, | |
| "step": 5920 | |
| }, | |
| { | |
| "epoch": 0.792, | |
| "grad_norm": 6.84375, | |
| "learning_rate": 2.08e-06, | |
| "loss": 0.9473, | |
| "step": 5940 | |
| }, | |
| { | |
| "epoch": 0.7946666666666666, | |
| "grad_norm": 5.59375, | |
| "learning_rate": 2.0533333333333337e-06, | |
| "loss": 0.8681, | |
| "step": 5960 | |
| }, | |
| { | |
| "epoch": 0.7973333333333333, | |
| "grad_norm": 3.734375, | |
| "learning_rate": 2.0266666666666666e-06, | |
| "loss": 0.9148, | |
| "step": 5980 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 5.34375, | |
| "learning_rate": 2.0000000000000003e-06, | |
| "loss": 0.8826, | |
| "step": 6000 | |
| }, | |
| { | |
| "epoch": 0.8026666666666666, | |
| "grad_norm": 7.5, | |
| "learning_rate": 1.9733333333333336e-06, | |
| "loss": 0.8836, | |
| "step": 6020 | |
| }, | |
| { | |
| "epoch": 0.8053333333333333, | |
| "grad_norm": 4.3125, | |
| "learning_rate": 1.9466666666666665e-06, | |
| "loss": 0.8836, | |
| "step": 6040 | |
| }, | |
| { | |
| "epoch": 0.808, | |
| "grad_norm": 0.0, | |
| "learning_rate": 1.9200000000000003e-06, | |
| "loss": 0.9051, | |
| "step": 6060 | |
| }, | |
| { | |
| "epoch": 0.8106666666666666, | |
| "grad_norm": 0.0, | |
| "learning_rate": 1.8933333333333333e-06, | |
| "loss": 0.7184, | |
| "step": 6080 | |
| }, | |
| { | |
| "epoch": 0.8133333333333334, | |
| "grad_norm": 4.09375, | |
| "learning_rate": 1.8666666666666669e-06, | |
| "loss": 0.7784, | |
| "step": 6100 | |
| }, | |
| { | |
| "epoch": 0.816, | |
| "grad_norm": 13.0, | |
| "learning_rate": 1.8400000000000002e-06, | |
| "loss": 0.8781, | |
| "step": 6120 | |
| }, | |
| { | |
| "epoch": 0.8186666666666667, | |
| "grad_norm": 0.0, | |
| "learning_rate": 1.8133333333333337e-06, | |
| "loss": 0.8565, | |
| "step": 6140 | |
| }, | |
| { | |
| "epoch": 0.8213333333333334, | |
| "grad_norm": 17.0, | |
| "learning_rate": 1.7866666666666668e-06, | |
| "loss": 0.8705, | |
| "step": 6160 | |
| }, | |
| { | |
| "epoch": 0.824, | |
| "grad_norm": 6.6875, | |
| "learning_rate": 1.76e-06, | |
| "loss": 0.8946, | |
| "step": 6180 | |
| }, | |
| { | |
| "epoch": 0.8266666666666667, | |
| "grad_norm": 6.90625, | |
| "learning_rate": 1.7333333333333336e-06, | |
| "loss": 0.9203, | |
| "step": 6200 | |
| }, | |
| { | |
| "epoch": 0.8293333333333334, | |
| "grad_norm": 7.9375, | |
| "learning_rate": 1.7066666666666667e-06, | |
| "loss": 0.9021, | |
| "step": 6220 | |
| }, | |
| { | |
| "epoch": 0.832, | |
| "grad_norm": 14.75, | |
| "learning_rate": 1.6800000000000002e-06, | |
| "loss": 0.9852, | |
| "step": 6240 | |
| }, | |
| { | |
| "epoch": 0.8346666666666667, | |
| "grad_norm": 6.90625, | |
| "learning_rate": 1.6533333333333335e-06, | |
| "loss": 0.9907, | |
| "step": 6260 | |
| }, | |
| { | |
| "epoch": 0.8373333333333334, | |
| "grad_norm": 4.78125, | |
| "learning_rate": 1.6266666666666666e-06, | |
| "loss": 0.8371, | |
| "step": 6280 | |
| }, | |
| { | |
| "epoch": 0.84, | |
| "grad_norm": 6.28125, | |
| "learning_rate": 1.6000000000000001e-06, | |
| "loss": 0.8951, | |
| "step": 6300 | |
| }, | |
| { | |
| "epoch": 0.8426666666666667, | |
| "grad_norm": 5.90625, | |
| "learning_rate": 1.5733333333333334e-06, | |
| "loss": 0.8683, | |
| "step": 6320 | |
| }, | |
| { | |
| "epoch": 0.8453333333333334, | |
| "grad_norm": 6.28125, | |
| "learning_rate": 1.546666666666667e-06, | |
| "loss": 0.9549, | |
| "step": 6340 | |
| }, | |
| { | |
| "epoch": 0.848, | |
| "grad_norm": 10.4375, | |
| "learning_rate": 1.52e-06, | |
| "loss": 0.7493, | |
| "step": 6360 | |
| }, | |
| { | |
| "epoch": 0.8506666666666667, | |
| "grad_norm": 5.59375, | |
| "learning_rate": 1.4933333333333336e-06, | |
| "loss": 0.9304, | |
| "step": 6380 | |
| }, | |
| { | |
| "epoch": 0.8533333333333334, | |
| "grad_norm": 5.09375, | |
| "learning_rate": 1.4666666666666669e-06, | |
| "loss": 0.9055, | |
| "step": 6400 | |
| }, | |
| { | |
| "epoch": 0.856, | |
| "grad_norm": 15.1875, | |
| "learning_rate": 1.44e-06, | |
| "loss": 0.8643, | |
| "step": 6420 | |
| }, | |
| { | |
| "epoch": 0.8586666666666667, | |
| "grad_norm": 7.5, | |
| "learning_rate": 1.4133333333333335e-06, | |
| "loss": 0.9275, | |
| "step": 6440 | |
| }, | |
| { | |
| "epoch": 0.8613333333333333, | |
| "grad_norm": 7.15625, | |
| "learning_rate": 1.3866666666666668e-06, | |
| "loss": 0.8803, | |
| "step": 6460 | |
| }, | |
| { | |
| "epoch": 0.864, | |
| "grad_norm": 7.71875, | |
| "learning_rate": 1.3600000000000001e-06, | |
| "loss": 0.9048, | |
| "step": 6480 | |
| }, | |
| { | |
| "epoch": 0.8666666666666667, | |
| "grad_norm": 17.625, | |
| "learning_rate": 1.3333333333333334e-06, | |
| "loss": 0.8502, | |
| "step": 6500 | |
| }, | |
| { | |
| "epoch": 0.8693333333333333, | |
| "grad_norm": 5.375, | |
| "learning_rate": 1.3066666666666667e-06, | |
| "loss": 0.9328, | |
| "step": 6520 | |
| }, | |
| { | |
| "epoch": 0.872, | |
| "grad_norm": 6.6875, | |
| "learning_rate": 1.28e-06, | |
| "loss": 0.8532, | |
| "step": 6540 | |
| }, | |
| { | |
| "epoch": 0.8746666666666667, | |
| "grad_norm": 5.09375, | |
| "learning_rate": 1.2533333333333333e-06, | |
| "loss": 0.8169, | |
| "step": 6560 | |
| }, | |
| { | |
| "epoch": 0.8773333333333333, | |
| "grad_norm": 7.03125, | |
| "learning_rate": 1.2266666666666666e-06, | |
| "loss": 0.8844, | |
| "step": 6580 | |
| }, | |
| { | |
| "epoch": 0.88, | |
| "grad_norm": 6.625, | |
| "learning_rate": 1.2000000000000002e-06, | |
| "loss": 1.1842, | |
| "step": 6600 | |
| }, | |
| { | |
| "epoch": 0.8826666666666667, | |
| "grad_norm": 5.125, | |
| "learning_rate": 1.1733333333333335e-06, | |
| "loss": 0.8118, | |
| "step": 6620 | |
| }, | |
| { | |
| "epoch": 0.8853333333333333, | |
| "grad_norm": 6.53125, | |
| "learning_rate": 1.1466666666666668e-06, | |
| "loss": 0.8635, | |
| "step": 6640 | |
| }, | |
| { | |
| "epoch": 0.888, | |
| "grad_norm": 17.125, | |
| "learning_rate": 1.12e-06, | |
| "loss": 0.911, | |
| "step": 6660 | |
| }, | |
| { | |
| "epoch": 0.8906666666666667, | |
| "grad_norm": 12.0625, | |
| "learning_rate": 1.0933333333333334e-06, | |
| "loss": 0.8615, | |
| "step": 6680 | |
| }, | |
| { | |
| "epoch": 0.8933333333333333, | |
| "grad_norm": 8.4375, | |
| "learning_rate": 1.066666666666667e-06, | |
| "loss": 0.9396, | |
| "step": 6700 | |
| }, | |
| { | |
| "epoch": 0.896, | |
| "grad_norm": 5.4375, | |
| "learning_rate": 1.04e-06, | |
| "loss": 0.9288, | |
| "step": 6720 | |
| }, | |
| { | |
| "epoch": 0.8986666666666666, | |
| "grad_norm": 7.71875, | |
| "learning_rate": 1.0133333333333333e-06, | |
| "loss": 0.8788, | |
| "step": 6740 | |
| }, | |
| { | |
| "epoch": 0.9013333333333333, | |
| "grad_norm": 9.5625, | |
| "learning_rate": 9.866666666666668e-07, | |
| "loss": 0.8478, | |
| "step": 6760 | |
| }, | |
| { | |
| "epoch": 0.904, | |
| "grad_norm": 6.09375, | |
| "learning_rate": 9.600000000000001e-07, | |
| "loss": 0.8052, | |
| "step": 6780 | |
| }, | |
| { | |
| "epoch": 0.9066666666666666, | |
| "grad_norm": 11.25, | |
| "learning_rate": 9.333333333333334e-07, | |
| "loss": 1.0128, | |
| "step": 6800 | |
| }, | |
| { | |
| "epoch": 0.9093333333333333, | |
| "grad_norm": 10.375, | |
| "learning_rate": 9.066666666666668e-07, | |
| "loss": 0.8069, | |
| "step": 6820 | |
| }, | |
| { | |
| "epoch": 0.912, | |
| "grad_norm": 4.53125, | |
| "learning_rate": 8.8e-07, | |
| "loss": 0.8799, | |
| "step": 6840 | |
| }, | |
| { | |
| "epoch": 0.9146666666666666, | |
| "grad_norm": 6.15625, | |
| "learning_rate": 8.533333333333334e-07, | |
| "loss": 0.681, | |
| "step": 6860 | |
| }, | |
| { | |
| "epoch": 0.9173333333333333, | |
| "grad_norm": 9.6875, | |
| "learning_rate": 8.266666666666668e-07, | |
| "loss": 0.9491, | |
| "step": 6880 | |
| }, | |
| { | |
| "epoch": 0.92, | |
| "grad_norm": 8.4375, | |
| "learning_rate": 8.000000000000001e-07, | |
| "loss": 0.9059, | |
| "step": 6900 | |
| }, | |
| { | |
| "epoch": 0.9226666666666666, | |
| "grad_norm": 5.71875, | |
| "learning_rate": 7.733333333333335e-07, | |
| "loss": 0.9009, | |
| "step": 6920 | |
| }, | |
| { | |
| "epoch": 0.9253333333333333, | |
| "grad_norm": 3.65625, | |
| "learning_rate": 7.466666666666668e-07, | |
| "loss": 0.7688, | |
| "step": 6940 | |
| }, | |
| { | |
| "epoch": 0.928, | |
| "grad_norm": 18.125, | |
| "learning_rate": 7.2e-07, | |
| "loss": 0.8222, | |
| "step": 6960 | |
| }, | |
| { | |
| "epoch": 0.9306666666666666, | |
| "grad_norm": 4.8125, | |
| "learning_rate": 6.933333333333334e-07, | |
| "loss": 0.8589, | |
| "step": 6980 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "grad_norm": 15.625, | |
| "learning_rate": 6.666666666666667e-07, | |
| "loss": 1.0669, | |
| "step": 7000 | |
| }, | |
| { | |
| "epoch": 0.936, | |
| "grad_norm": 11.8125, | |
| "learning_rate": 6.4e-07, | |
| "loss": 0.8907, | |
| "step": 7020 | |
| }, | |
| { | |
| "epoch": 0.9386666666666666, | |
| "grad_norm": 9.375, | |
| "learning_rate": 6.133333333333333e-07, | |
| "loss": 0.8357, | |
| "step": 7040 | |
| }, | |
| { | |
| "epoch": 0.9413333333333334, | |
| "grad_norm": 7.65625, | |
| "learning_rate": 5.866666666666667e-07, | |
| "loss": 0.8471, | |
| "step": 7060 | |
| }, | |
| { | |
| "epoch": 0.944, | |
| "grad_norm": 15.375, | |
| "learning_rate": 5.6e-07, | |
| "loss": 0.7884, | |
| "step": 7080 | |
| }, | |
| { | |
| "epoch": 0.9466666666666667, | |
| "grad_norm": 3.875, | |
| "learning_rate": 5.333333333333335e-07, | |
| "loss": 0.8038, | |
| "step": 7100 | |
| }, | |
| { | |
| "epoch": 0.9493333333333334, | |
| "grad_norm": 9.5, | |
| "learning_rate": 5.066666666666667e-07, | |
| "loss": 0.8502, | |
| "step": 7120 | |
| }, | |
| { | |
| "epoch": 0.952, | |
| "grad_norm": 4.90625, | |
| "learning_rate": 4.800000000000001e-07, | |
| "loss": 0.7352, | |
| "step": 7140 | |
| }, | |
| { | |
| "epoch": 0.9546666666666667, | |
| "grad_norm": 9.125, | |
| "learning_rate": 4.533333333333334e-07, | |
| "loss": 0.9503, | |
| "step": 7160 | |
| }, | |
| { | |
| "epoch": 0.9573333333333334, | |
| "grad_norm": 6.3125, | |
| "learning_rate": 4.266666666666667e-07, | |
| "loss": 0.8573, | |
| "step": 7180 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "grad_norm": 19.25, | |
| "learning_rate": 4.0000000000000003e-07, | |
| "loss": 0.9808, | |
| "step": 7200 | |
| }, | |
| { | |
| "epoch": 0.9626666666666667, | |
| "grad_norm": 4.90625, | |
| "learning_rate": 3.733333333333334e-07, | |
| "loss": 0.9278, | |
| "step": 7220 | |
| }, | |
| { | |
| "epoch": 0.9653333333333334, | |
| "grad_norm": 7.90625, | |
| "learning_rate": 3.466666666666667e-07, | |
| "loss": 0.8229, | |
| "step": 7240 | |
| }, | |
| { | |
| "epoch": 0.968, | |
| "grad_norm": 13.625, | |
| "learning_rate": 3.2e-07, | |
| "loss": 0.8607, | |
| "step": 7260 | |
| }, | |
| { | |
| "epoch": 0.9706666666666667, | |
| "grad_norm": 7.21875, | |
| "learning_rate": 2.9333333333333337e-07, | |
| "loss": 0.9099, | |
| "step": 7280 | |
| }, | |
| { | |
| "epoch": 0.9733333333333334, | |
| "grad_norm": 4.875, | |
| "learning_rate": 2.666666666666667e-07, | |
| "loss": 0.9211, | |
| "step": 7300 | |
| }, | |
| { | |
| "epoch": 0.976, | |
| "grad_norm": 0.0, | |
| "learning_rate": 2.4000000000000003e-07, | |
| "loss": 0.9568, | |
| "step": 7320 | |
| }, | |
| { | |
| "epoch": 0.9786666666666667, | |
| "grad_norm": 12.375, | |
| "learning_rate": 2.1333333333333334e-07, | |
| "loss": 0.8992, | |
| "step": 7340 | |
| }, | |
| { | |
| "epoch": 0.9813333333333333, | |
| "grad_norm": 7.46875, | |
| "learning_rate": 1.866666666666667e-07, | |
| "loss": 0.7981, | |
| "step": 7360 | |
| }, | |
| { | |
| "epoch": 0.984, | |
| "grad_norm": 0.0, | |
| "learning_rate": 1.6e-07, | |
| "loss": 0.7928, | |
| "step": 7380 | |
| }, | |
| { | |
| "epoch": 0.9866666666666667, | |
| "grad_norm": 7.34375, | |
| "learning_rate": 1.3333333333333336e-07, | |
| "loss": 0.8291, | |
| "step": 7400 | |
| }, | |
| { | |
| "epoch": 0.9893333333333333, | |
| "grad_norm": 7.375, | |
| "learning_rate": 1.0666666666666667e-07, | |
| "loss": 0.885, | |
| "step": 7420 | |
| }, | |
| { | |
| "epoch": 0.992, | |
| "grad_norm": 5.5625, | |
| "learning_rate": 8e-08, | |
| "loss": 0.9896, | |
| "step": 7440 | |
| }, | |
| { | |
| "epoch": 0.9946666666666667, | |
| "grad_norm": 12.0625, | |
| "learning_rate": 5.3333333333333334e-08, | |
| "loss": 0.7702, | |
| "step": 7460 | |
| }, | |
| { | |
| "epoch": 0.9973333333333333, | |
| "grad_norm": 5.1875, | |
| "learning_rate": 2.6666666666666667e-08, | |
| "loss": 0.7447, | |
| "step": 7480 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 11.5, | |
| "learning_rate": 0.0, | |
| "loss": 0.8711, | |
| "step": 7500 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "step": 7500, | |
| "total_flos": 3.247196995584e+16, | |
| "train_loss": 0.8968856293996175, | |
| "train_runtime": 1623.6786, | |
| "train_samples_per_second": 4.619, | |
| "train_steps_per_second": 4.619 | |
| } | |
| ], | |
| "logging_steps": 20, | |
| "max_steps": 7500, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 1, | |
| "save_steps": 5000, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 3.247196995584e+16, | |
| "train_batch_size": 1, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |