imdb / checkpoint-15000 /trainer_state.json
Vedmani's picture
Training in progress, epoch 6, checkpoint
add3bea
{
"best_metric": 0.9312,
"best_model_checkpoint": "output/checkpoint-15000",
"epoch": 6.0,
"eval_steps": 500,
"global_step": 15000,
"is_hyper_param_search": false,
"is_local_process_zero": true,
"is_world_process_zero": true,
"log_history": [
{
"epoch": 0.02,
"learning_rate": 3.3333333333333337e-06,
"loss": 0.8125,
"step": 50
},
{
"epoch": 0.04,
"learning_rate": 6.6666666666666675e-06,
"loss": 0.7599,
"step": 100
},
{
"epoch": 0.06,
"learning_rate": 1e-05,
"loss": 0.7309,
"step": 150
},
{
"epoch": 0.08,
"learning_rate": 1.3333333333333335e-05,
"loss": 0.7104,
"step": 200
},
{
"epoch": 0.1,
"learning_rate": 1.6666666666666667e-05,
"loss": 0.6939,
"step": 250
},
{
"epoch": 0.12,
"learning_rate": 2e-05,
"loss": 0.6824,
"step": 300
},
{
"epoch": 0.14,
"learning_rate": 2.3333333333333336e-05,
"loss": 0.686,
"step": 350
},
{
"epoch": 0.16,
"learning_rate": 2.666666666666667e-05,
"loss": 0.6693,
"step": 400
},
{
"epoch": 0.18,
"learning_rate": 3e-05,
"loss": 0.6436,
"step": 450
},
{
"epoch": 0.2,
"learning_rate": 3.3333333333333335e-05,
"loss": 0.6101,
"step": 500
},
{
"epoch": 0.22,
"learning_rate": 3.6666666666666666e-05,
"loss": 0.493,
"step": 550
},
{
"epoch": 0.24,
"learning_rate": 3.993333333333333e-05,
"loss": 0.4239,
"step": 600
},
{
"epoch": 0.26,
"learning_rate": 4.326666666666667e-05,
"loss": 0.3391,
"step": 650
},
{
"epoch": 0.28,
"learning_rate": 4.66e-05,
"loss": 0.3332,
"step": 700
},
{
"epoch": 0.3,
"learning_rate": 4.986666666666666e-05,
"loss": 0.3966,
"step": 750
},
{
"epoch": 0.32,
"learning_rate": 5.32e-05,
"loss": 0.3137,
"step": 800
},
{
"epoch": 0.34,
"learning_rate": 5.653333333333333e-05,
"loss": 0.3072,
"step": 850
},
{
"epoch": 0.36,
"learning_rate": 5.986666666666667e-05,
"loss": 0.272,
"step": 900
},
{
"epoch": 0.38,
"learning_rate": 6.32e-05,
"loss": 0.2715,
"step": 950
},
{
"epoch": 0.4,
"learning_rate": 6.653333333333333e-05,
"loss": 0.2892,
"step": 1000
},
{
"epoch": 0.42,
"learning_rate": 6.986666666666667e-05,
"loss": 0.28,
"step": 1050
},
{
"epoch": 0.44,
"learning_rate": 7.32e-05,
"loss": 0.3102,
"step": 1100
},
{
"epoch": 0.46,
"learning_rate": 7.653333333333333e-05,
"loss": 0.2663,
"step": 1150
},
{
"epoch": 0.48,
"learning_rate": 7.986666666666667e-05,
"loss": 0.2778,
"step": 1200
},
{
"epoch": 0.5,
"learning_rate": 8.32e-05,
"loss": 0.3414,
"step": 1250
},
{
"epoch": 0.52,
"learning_rate": 8.653333333333334e-05,
"loss": 0.2608,
"step": 1300
},
{
"epoch": 0.54,
"learning_rate": 8.986666666666666e-05,
"loss": 0.2847,
"step": 1350
},
{
"epoch": 0.56,
"learning_rate": 9.32e-05,
"loss": 0.2801,
"step": 1400
},
{
"epoch": 0.58,
"learning_rate": 9.653333333333334e-05,
"loss": 0.2777,
"step": 1450
},
{
"epoch": 0.6,
"learning_rate": 9.986666666666668e-05,
"loss": 0.2819,
"step": 1500
},
{
"epoch": 0.62,
"learning_rate": 0.0001032,
"loss": 0.2631,
"step": 1550
},
{
"epoch": 0.64,
"learning_rate": 0.00010653333333333333,
"loss": 0.255,
"step": 1600
},
{
"epoch": 0.66,
"learning_rate": 0.00010986666666666668,
"loss": 0.3253,
"step": 1650
},
{
"epoch": 0.68,
"learning_rate": 0.0001132,
"loss": 0.2632,
"step": 1700
},
{
"epoch": 0.7,
"learning_rate": 0.00011653333333333334,
"loss": 0.2808,
"step": 1750
},
{
"epoch": 0.72,
"learning_rate": 0.00011986666666666666,
"loss": 0.2487,
"step": 1800
},
{
"epoch": 0.74,
"learning_rate": 0.0001232,
"loss": 0.1958,
"step": 1850
},
{
"epoch": 0.76,
"learning_rate": 0.00012653333333333334,
"loss": 0.2882,
"step": 1900
},
{
"epoch": 0.78,
"learning_rate": 0.00012986666666666666,
"loss": 0.2877,
"step": 1950
},
{
"epoch": 0.8,
"learning_rate": 0.0001332,
"loss": 0.2412,
"step": 2000
},
{
"epoch": 0.82,
"learning_rate": 0.00013653333333333334,
"loss": 0.2608,
"step": 2050
},
{
"epoch": 0.84,
"learning_rate": 0.00013986666666666666,
"loss": 0.2296,
"step": 2100
},
{
"epoch": 0.86,
"learning_rate": 0.00014319999999999998,
"loss": 0.2311,
"step": 2150
},
{
"epoch": 0.88,
"learning_rate": 0.00014653333333333334,
"loss": 0.2603,
"step": 2200
},
{
"epoch": 0.9,
"learning_rate": 0.00014986666666666669,
"loss": 0.2923,
"step": 2250
},
{
"epoch": 0.92,
"learning_rate": 0.0001532,
"loss": 0.2415,
"step": 2300
},
{
"epoch": 0.94,
"learning_rate": 0.00015646666666666668,
"loss": 0.2671,
"step": 2350
},
{
"epoch": 0.96,
"learning_rate": 0.0001598,
"loss": 0.2421,
"step": 2400
},
{
"epoch": 0.98,
"learning_rate": 0.00016313333333333333,
"loss": 0.2449,
"step": 2450
},
{
"epoch": 1.0,
"learning_rate": 0.00016646666666666668,
"loss": 0.2399,
"step": 2500
},
{
"epoch": 1.0,
"eval_accuracy": 0.9037,
"eval_loss": 0.2539164125919342,
"eval_runtime": 132.4594,
"eval_samples_per_second": 75.495,
"eval_steps_per_second": 4.718,
"step": 2500
},
{
"epoch": 1.02,
"learning_rate": 0.0001698,
"loss": 0.2453,
"step": 2550
},
{
"epoch": 1.04,
"learning_rate": 0.00017313333333333333,
"loss": 0.2485,
"step": 2600
},
{
"epoch": 1.06,
"learning_rate": 0.00017646666666666666,
"loss": 0.2321,
"step": 2650
},
{
"epoch": 1.08,
"learning_rate": 0.00017979999999999998,
"loss": 0.239,
"step": 2700
},
{
"epoch": 1.1,
"learning_rate": 0.00018313333333333336,
"loss": 0.2389,
"step": 2750
},
{
"epoch": 1.12,
"learning_rate": 0.00018646666666666668,
"loss": 0.2216,
"step": 2800
},
{
"epoch": 1.14,
"learning_rate": 0.0001898,
"loss": 0.3027,
"step": 2850
},
{
"epoch": 1.16,
"learning_rate": 0.00019313333333333333,
"loss": 0.2683,
"step": 2900
},
{
"epoch": 1.18,
"learning_rate": 0.00019646666666666668,
"loss": 0.2378,
"step": 2950
},
{
"epoch": 1.2,
"learning_rate": 0.0001998,
"loss": 0.2598,
"step": 3000
},
{
"epoch": 1.22,
"learning_rate": 0.00020313333333333333,
"loss": 0.2363,
"step": 3050
},
{
"epoch": 1.24,
"learning_rate": 0.00020646666666666665,
"loss": 0.2437,
"step": 3100
},
{
"epoch": 1.26,
"learning_rate": 0.0002098,
"loss": 0.244,
"step": 3150
},
{
"epoch": 1.28,
"learning_rate": 0.00021313333333333335,
"loss": 0.2264,
"step": 3200
},
{
"epoch": 1.3,
"learning_rate": 0.00021646666666666668,
"loss": 0.188,
"step": 3250
},
{
"epoch": 1.32,
"learning_rate": 0.0002198,
"loss": 0.2507,
"step": 3300
},
{
"epoch": 1.34,
"learning_rate": 0.00022313333333333333,
"loss": 0.2265,
"step": 3350
},
{
"epoch": 1.36,
"learning_rate": 0.00022646666666666668,
"loss": 0.2265,
"step": 3400
},
{
"epoch": 1.38,
"learning_rate": 0.0002298,
"loss": 0.226,
"step": 3450
},
{
"epoch": 1.4,
"learning_rate": 0.00023313333333333333,
"loss": 0.2502,
"step": 3500
},
{
"epoch": 1.42,
"learning_rate": 0.00023646666666666665,
"loss": 0.2436,
"step": 3550
},
{
"epoch": 1.44,
"learning_rate": 0.00023980000000000003,
"loss": 0.2472,
"step": 3600
},
{
"epoch": 1.46,
"learning_rate": 0.00024313333333333335,
"loss": 0.2596,
"step": 3650
},
{
"epoch": 1.48,
"learning_rate": 0.0002464666666666667,
"loss": 0.2381,
"step": 3700
},
{
"epoch": 1.5,
"learning_rate": 0.0002498,
"loss": 0.231,
"step": 3750
},
{
"epoch": 1.52,
"learning_rate": 0.0002531333333333333,
"loss": 0.2489,
"step": 3800
},
{
"epoch": 1.54,
"learning_rate": 0.0002564666666666667,
"loss": 0.1849,
"step": 3850
},
{
"epoch": 1.56,
"learning_rate": 0.00025979999999999997,
"loss": 0.2742,
"step": 3900
},
{
"epoch": 1.58,
"learning_rate": 0.00026313333333333335,
"loss": 0.2268,
"step": 3950
},
{
"epoch": 1.6,
"learning_rate": 0.0002664666666666667,
"loss": 0.287,
"step": 4000
},
{
"epoch": 1.62,
"learning_rate": 0.0002698,
"loss": 0.208,
"step": 4050
},
{
"epoch": 1.64,
"learning_rate": 0.0002731333333333333,
"loss": 0.2446,
"step": 4100
},
{
"epoch": 1.66,
"learning_rate": 0.0002764666666666667,
"loss": 0.2359,
"step": 4150
},
{
"epoch": 1.68,
"learning_rate": 0.0002798,
"loss": 0.2917,
"step": 4200
},
{
"epoch": 1.7,
"learning_rate": 0.00028313333333333335,
"loss": 0.2051,
"step": 4250
},
{
"epoch": 1.72,
"learning_rate": 0.00028646666666666667,
"loss": 0.2119,
"step": 4300
},
{
"epoch": 1.74,
"learning_rate": 0.0002898,
"loss": 0.1946,
"step": 4350
},
{
"epoch": 1.76,
"learning_rate": 0.0002931333333333334,
"loss": 0.2159,
"step": 4400
},
{
"epoch": 1.78,
"learning_rate": 0.00029646666666666664,
"loss": 0.2793,
"step": 4450
},
{
"epoch": 1.8,
"learning_rate": 0.0002998,
"loss": 0.2675,
"step": 4500
},
{
"epoch": 1.82,
"learning_rate": 0.0003031333333333333,
"loss": 0.1927,
"step": 4550
},
{
"epoch": 1.84,
"learning_rate": 0.00030646666666666667,
"loss": 0.177,
"step": 4600
},
{
"epoch": 1.86,
"learning_rate": 0.00030980000000000005,
"loss": 0.2681,
"step": 4650
},
{
"epoch": 1.88,
"learning_rate": 0.00031306666666666667,
"loss": 0.2123,
"step": 4700
},
{
"epoch": 1.9,
"learning_rate": 0.00031640000000000005,
"loss": 0.2232,
"step": 4750
},
{
"epoch": 1.92,
"learning_rate": 0.0003197333333333333,
"loss": 0.222,
"step": 4800
},
{
"epoch": 1.94,
"learning_rate": 0.0003230666666666667,
"loss": 0.2126,
"step": 4850
},
{
"epoch": 1.96,
"learning_rate": 0.0003264,
"loss": 0.2268,
"step": 4900
},
{
"epoch": 1.98,
"learning_rate": 0.00032973333333333334,
"loss": 0.2239,
"step": 4950
},
{
"epoch": 2.0,
"learning_rate": 0.00033306666666666667,
"loss": 0.2454,
"step": 5000
},
{
"epoch": 2.0,
"eval_accuracy": 0.9064,
"eval_loss": 0.27525001764297485,
"eval_runtime": 132.3865,
"eval_samples_per_second": 75.536,
"eval_steps_per_second": 4.721,
"step": 5000
},
{
"epoch": 2.02,
"learning_rate": 0.0003364,
"loss": 0.2001,
"step": 5050
},
{
"epoch": 2.04,
"learning_rate": 0.0003397333333333333,
"loss": 0.1839,
"step": 5100
},
{
"epoch": 2.06,
"learning_rate": 0.0003430666666666667,
"loss": 0.2544,
"step": 5150
},
{
"epoch": 2.08,
"learning_rate": 0.0003464,
"loss": 0.1747,
"step": 5200
},
{
"epoch": 2.1,
"learning_rate": 0.00034973333333333334,
"loss": 0.1857,
"step": 5250
},
{
"epoch": 2.12,
"learning_rate": 0.00035306666666666667,
"loss": 0.2486,
"step": 5300
},
{
"epoch": 2.14,
"learning_rate": 0.0003564,
"loss": 0.1884,
"step": 5350
},
{
"epoch": 2.16,
"learning_rate": 0.00035973333333333337,
"loss": 0.2118,
"step": 5400
},
{
"epoch": 2.18,
"learning_rate": 0.00036306666666666664,
"loss": 0.2187,
"step": 5450
},
{
"epoch": 2.2,
"learning_rate": 0.0003664,
"loss": 0.2032,
"step": 5500
},
{
"epoch": 2.22,
"learning_rate": 0.00036973333333333334,
"loss": 0.1931,
"step": 5550
},
{
"epoch": 2.24,
"learning_rate": 0.00037306666666666666,
"loss": 0.2272,
"step": 5600
},
{
"epoch": 2.26,
"learning_rate": 0.00037640000000000004,
"loss": 0.2196,
"step": 5650
},
{
"epoch": 2.28,
"learning_rate": 0.0003797333333333333,
"loss": 0.1778,
"step": 5700
},
{
"epoch": 2.3,
"learning_rate": 0.0003830666666666667,
"loss": 0.1637,
"step": 5750
},
{
"epoch": 2.32,
"learning_rate": 0.0003864,
"loss": 0.1595,
"step": 5800
},
{
"epoch": 2.34,
"learning_rate": 0.00038973333333333334,
"loss": 0.2069,
"step": 5850
},
{
"epoch": 2.36,
"learning_rate": 0.00039306666666666666,
"loss": 0.2338,
"step": 5900
},
{
"epoch": 2.38,
"learning_rate": 0.0003964,
"loss": 0.2159,
"step": 5950
},
{
"epoch": 2.4,
"learning_rate": 0.00039973333333333336,
"loss": 0.2325,
"step": 6000
},
{
"epoch": 2.42,
"learning_rate": 0.0004030666666666667,
"loss": 0.2506,
"step": 6050
},
{
"epoch": 2.44,
"learning_rate": 0.0004064,
"loss": 0.2129,
"step": 6100
},
{
"epoch": 2.46,
"learning_rate": 0.00040973333333333334,
"loss": 0.2239,
"step": 6150
},
{
"epoch": 2.48,
"learning_rate": 0.0004130666666666667,
"loss": 0.231,
"step": 6200
},
{
"epoch": 2.5,
"learning_rate": 0.0004164,
"loss": 0.2157,
"step": 6250
},
{
"epoch": 2.52,
"learning_rate": 0.00041973333333333336,
"loss": 0.2642,
"step": 6300
},
{
"epoch": 2.54,
"learning_rate": 0.00042306666666666663,
"loss": 0.2308,
"step": 6350
},
{
"epoch": 2.56,
"learning_rate": 0.0004264,
"loss": 0.2229,
"step": 6400
},
{
"epoch": 2.58,
"learning_rate": 0.0004297333333333334,
"loss": 0.2231,
"step": 6450
},
{
"epoch": 2.6,
"learning_rate": 0.00043306666666666666,
"loss": 0.1866,
"step": 6500
},
{
"epoch": 2.62,
"learning_rate": 0.00043640000000000004,
"loss": 0.1999,
"step": 6550
},
{
"epoch": 2.64,
"learning_rate": 0.0004397333333333333,
"loss": 0.2566,
"step": 6600
},
{
"epoch": 2.66,
"learning_rate": 0.0004430666666666667,
"loss": 0.2168,
"step": 6650
},
{
"epoch": 2.68,
"learning_rate": 0.0004464,
"loss": 0.2551,
"step": 6700
},
{
"epoch": 2.7,
"learning_rate": 0.00044973333333333333,
"loss": 0.1921,
"step": 6750
},
{
"epoch": 2.72,
"learning_rate": 0.00045306666666666666,
"loss": 0.2241,
"step": 6800
},
{
"epoch": 2.74,
"learning_rate": 0.0004564,
"loss": 0.2359,
"step": 6850
},
{
"epoch": 2.76,
"learning_rate": 0.00045966666666666665,
"loss": 0.2348,
"step": 6900
},
{
"epoch": 2.78,
"learning_rate": 0.00046300000000000003,
"loss": 0.2228,
"step": 6950
},
{
"epoch": 2.8,
"learning_rate": 0.00046633333333333336,
"loss": 0.2302,
"step": 7000
},
{
"epoch": 2.82,
"learning_rate": 0.0004696666666666667,
"loss": 0.2455,
"step": 7050
},
{
"epoch": 2.84,
"learning_rate": 0.000473,
"loss": 0.2731,
"step": 7100
},
{
"epoch": 2.86,
"learning_rate": 0.00047633333333333333,
"loss": 0.2365,
"step": 7150
},
{
"epoch": 2.88,
"learning_rate": 0.0004796666666666667,
"loss": 0.2554,
"step": 7200
},
{
"epoch": 2.9,
"learning_rate": 0.000483,
"loss": 0.2386,
"step": 7250
},
{
"epoch": 2.92,
"learning_rate": 0.00048633333333333335,
"loss": 0.1938,
"step": 7300
},
{
"epoch": 2.94,
"learning_rate": 0.0004896666666666667,
"loss": 0.23,
"step": 7350
},
{
"epoch": 2.96,
"learning_rate": 0.0004930000000000001,
"loss": 0.2151,
"step": 7400
},
{
"epoch": 2.98,
"learning_rate": 0.0004963333333333333,
"loss": 0.2073,
"step": 7450
},
{
"epoch": 3.0,
"learning_rate": 0.0004996666666666667,
"loss": 0.2251,
"step": 7500
},
{
"epoch": 3.0,
"eval_accuracy": 0.9167,
"eval_loss": 0.24363669753074646,
"eval_runtime": 132.3921,
"eval_samples_per_second": 75.533,
"eval_steps_per_second": 4.721,
"step": 7500
},
{
"epoch": 3.02,
"learning_rate": 0.0004999918425141952,
"loss": 0.1875,
"step": 7550
},
{
"epoch": 3.04,
"learning_rate": 0.0004999636444812977,
"loss": 0.2006,
"step": 7600
},
{
"epoch": 3.06,
"learning_rate": 0.0004999153074629148,
"loss": 0.2359,
"step": 7650
},
{
"epoch": 3.08,
"learning_rate": 0.0004998468353534468,
"loss": 0.1878,
"step": 7700
},
{
"epoch": 3.1,
"learning_rate": 0.0004997582336695312,
"loss": 0.2309,
"step": 7750
},
{
"epoch": 3.12,
"learning_rate": 0.0004996495095495983,
"loss": 0.2101,
"step": 7800
},
{
"epoch": 3.14,
"learning_rate": 0.0004995206717532957,
"loss": 0.2599,
"step": 7850
},
{
"epoch": 3.16,
"learning_rate": 0.0004993717306607832,
"loss": 0.2405,
"step": 7900
},
{
"epoch": 3.18,
"learning_rate": 0.0004992026982718955,
"loss": 0.2082,
"step": 7950
},
{
"epoch": 3.2,
"learning_rate": 0.0004990135882051766,
"loss": 0.2071,
"step": 8000
},
{
"epoch": 3.22,
"learning_rate": 0.0004988044156967816,
"loss": 0.1868,
"step": 8050
},
{
"epoch": 3.24,
"learning_rate": 0.0004985751975992497,
"loss": 0.2029,
"step": 8100
},
{
"epoch": 3.26,
"learning_rate": 0.0004983259523801463,
"loss": 0.2113,
"step": 8150
},
{
"epoch": 3.28,
"learning_rate": 0.000498056700120575,
"loss": 0.2172,
"step": 8200
},
{
"epoch": 3.3,
"learning_rate": 0.0004977674625135598,
"loss": 0.1988,
"step": 8250
},
{
"epoch": 3.32,
"learning_rate": 0.0004974582628622975,
"loss": 0.2154,
"step": 8300
},
{
"epoch": 3.34,
"learning_rate": 0.0004971291260782797,
"loss": 0.2122,
"step": 8350
},
{
"epoch": 3.36,
"learning_rate": 0.0004967800786792866,
"loss": 0.1891,
"step": 8400
},
{
"epoch": 3.38,
"learning_rate": 0.0004964111487872495,
"loss": 0.2461,
"step": 8450
},
{
"epoch": 3.4,
"learning_rate": 0.000496022366125986,
"loss": 0.1967,
"step": 8500
},
{
"epoch": 3.42,
"learning_rate": 0.0004956137620188048,
"loss": 0.2278,
"step": 8550
},
{
"epoch": 3.44,
"learning_rate": 0.000495185369385982,
"loss": 0.2029,
"step": 8600
},
{
"epoch": 3.46,
"learning_rate": 0.0004947372227421084,
"loss": 0.2094,
"step": 8650
},
{
"epoch": 3.48,
"learning_rate": 0.0004942693581933101,
"loss": 0.2701,
"step": 8700
},
{
"epoch": 3.5,
"learning_rate": 0.000493781813434338,
"loss": 0.1984,
"step": 8750
},
{
"epoch": 3.52,
"learning_rate": 0.0004932746277455317,
"loss": 0.2277,
"step": 8800
},
{
"epoch": 3.54,
"learning_rate": 0.0004927478419896543,
"loss": 0.1903,
"step": 8850
},
{
"epoch": 3.56,
"learning_rate": 0.0004922014986086007,
"loss": 0.1693,
"step": 8900
},
{
"epoch": 3.58,
"learning_rate": 0.0004916356416199778,
"loss": 0.2198,
"step": 8950
},
{
"epoch": 3.6,
"learning_rate": 0.0004910503166135578,
"loss": 0.1728,
"step": 9000
},
{
"epoch": 3.62,
"learning_rate": 0.000490445570747606,
"loss": 0.2523,
"step": 9050
},
{
"epoch": 3.64,
"learning_rate": 0.0004898214527450807,
"loss": 0.2319,
"step": 9100
},
{
"epoch": 3.66,
"learning_rate": 0.0004891910707082325,
"loss": 0.2402,
"step": 9150
},
{
"epoch": 3.68,
"learning_rate": 0.0004885287457226171,
"loss": 0.1891,
"step": 9200
},
{
"epoch": 3.7,
"learning_rate": 0.00048784720303453175,
"loss": 0.1828,
"step": 9250
},
{
"epoch": 3.72,
"learning_rate": 0.0004871464975542746,
"loss": 0.2131,
"step": 9300
},
{
"epoch": 3.74,
"learning_rate": 0.0004864266857360456,
"loss": 0.1854,
"step": 9350
},
{
"epoch": 3.76,
"learning_rate": 0.00048568782557339713,
"loss": 0.1927,
"step": 9400
},
{
"epoch": 3.78,
"learning_rate": 0.0004849299765945623,
"loss": 0.206,
"step": 9450
},
{
"epoch": 3.8,
"learning_rate": 0.00048415319985765877,
"loss": 0.2008,
"step": 9500
},
{
"epoch": 3.82,
"learning_rate": 0.0004833575579457691,
"loss": 0.1961,
"step": 9550
},
{
"epoch": 3.84,
"learning_rate": 0.000482543114961899,
"loss": 0.1752,
"step": 9600
},
{
"epoch": 3.86,
"learning_rate": 0.00048170993652381247,
"loss": 0.1751,
"step": 9650
},
{
"epoch": 3.88,
"learning_rate": 0.00048085808975874506,
"loss": 0.2128,
"step": 9700
},
{
"epoch": 3.9,
"learning_rate": 0.000479987643297996,
"loss": 0.188,
"step": 9750
},
{
"epoch": 3.92,
"learning_rate": 0.0004790986672713982,
"loss": 0.227,
"step": 9800
},
{
"epoch": 3.94,
"learning_rate": 0.0004781912333016683,
"loss": 0.1947,
"step": 9850
},
{
"epoch": 3.96,
"learning_rate": 0.00047726541449863636,
"loss": 0.2057,
"step": 9900
},
{
"epoch": 3.98,
"learning_rate": 0.00047632128545335527,
"loss": 0.195,
"step": 9950
},
{
"epoch": 4.0,
"learning_rate": 0.0004753589222320913,
"loss": 0.1996,
"step": 10000
},
{
"epoch": 4.0,
"eval_accuracy": 0.9246,
"eval_loss": 0.2271093726158142,
"eval_runtime": 132.5243,
"eval_samples_per_second": 75.458,
"eval_steps_per_second": 4.716,
"step": 10000
},
{
"epoch": 4.02,
"learning_rate": 0.00047437840237019567,
"loss": 0.1785,
"step": 10050
},
{
"epoch": 4.04,
"learning_rate": 0.00047337980486585735,
"loss": 0.2067,
"step": 10100
},
{
"epoch": 4.06,
"learning_rate": 0.00047236321017373893,
"loss": 0.1896,
"step": 10150
},
{
"epoch": 4.08,
"learning_rate": 0.00047132870019849415,
"loss": 0.1719,
"step": 10200
},
{
"epoch": 4.1,
"learning_rate": 0.00047027635828816915,
"loss": 0.1836,
"step": 10250
},
{
"epoch": 4.12,
"learning_rate": 0.0004692062692274873,
"loss": 0.1785,
"step": 10300
},
{
"epoch": 4.14,
"learning_rate": 0.0004681185192310183,
"loss": 0.2045,
"step": 10350
},
{
"epoch": 4.16,
"learning_rate": 0.0004670131959362323,
"loss": 0.175,
"step": 10400
},
{
"epoch": 4.18,
"learning_rate": 0.00046589038839643865,
"loss": 0.1609,
"step": 10450
},
{
"epoch": 4.2,
"learning_rate": 0.0004647501870736115,
"loss": 0.2075,
"step": 10500
},
{
"epoch": 4.22,
"learning_rate": 0.0004635926838311014,
"loss": 0.1618,
"step": 10550
},
{
"epoch": 4.24,
"learning_rate": 0.0004624179719262341,
"loss": 0.2275,
"step": 10600
},
{
"epoch": 4.26,
"learning_rate": 0.0004612261460027968,
"loss": 0.1881,
"step": 10650
},
{
"epoch": 4.28,
"learning_rate": 0.0004600173020834132,
"loss": 0.1863,
"step": 10700
},
{
"epoch": 4.3,
"learning_rate": 0.00045879153756180714,
"loss": 0.1765,
"step": 10750
},
{
"epoch": 4.32,
"learning_rate": 0.00045754895119495576,
"loss": 0.1964,
"step": 10800
},
{
"epoch": 4.34,
"learning_rate": 0.00045628964309513267,
"loss": 0.2081,
"step": 10850
},
{
"epoch": 4.36,
"learning_rate": 0.00045501371472184257,
"loss": 0.1695,
"step": 10900
},
{
"epoch": 4.38,
"learning_rate": 0.0004537212688736466,
"loss": 0.2042,
"step": 10950
},
{
"epoch": 4.4,
"learning_rate": 0.00045241240967988015,
"loss": 0.2003,
"step": 11000
},
{
"epoch": 4.42,
"learning_rate": 0.0004510872425922635,
"loss": 0.2015,
"step": 11050
},
{
"epoch": 4.44,
"learning_rate": 0.0004497458743764057,
"loss": 0.1409,
"step": 11100
},
{
"epoch": 4.46,
"learning_rate": 0.00044838841310320266,
"loss": 0.1446,
"step": 11150
},
{
"epoch": 4.48,
"learning_rate": 0.0004470149681401305,
"loss": 0.1834,
"step": 11200
},
{
"epoch": 4.5,
"learning_rate": 0.0004456256501424335,
"loss": 0.1908,
"step": 11250
},
{
"epoch": 4.52,
"learning_rate": 0.0004442205710442094,
"loss": 0.1727,
"step": 11300
},
{
"epoch": 4.54,
"learning_rate": 0.0004427998440493908,
"loss": 0.1853,
"step": 11350
},
{
"epoch": 4.56,
"learning_rate": 0.00044139246031239603,
"loss": 0.2239,
"step": 11400
},
{
"epoch": 4.58,
"learning_rate": 0.0004399410893820698,
"loss": 0.1986,
"step": 11450
},
{
"epoch": 4.6,
"learning_rate": 0.00043847441534296505,
"loss": 0.1802,
"step": 11500
},
{
"epoch": 4.62,
"learning_rate": 0.00043699255636157463,
"loss": 0.1795,
"step": 11550
},
{
"epoch": 4.64,
"learning_rate": 0.0004354956318278065,
"loss": 0.1828,
"step": 11600
},
{
"epoch": 4.66,
"learning_rate": 0.000433983762345365,
"loss": 0.1806,
"step": 11650
},
{
"epoch": 4.68,
"learning_rate": 0.00043245706972203383,
"loss": 0.1666,
"step": 11700
},
{
"epoch": 4.7,
"learning_rate": 0.00043091567695986265,
"loss": 0.1972,
"step": 11750
},
{
"epoch": 4.72,
"learning_rate": 0.0004293597082452566,
"loss": 0.1707,
"step": 11800
},
{
"epoch": 4.74,
"learning_rate": 0.0004277892889389715,
"loss": 0.1942,
"step": 11850
},
{
"epoch": 4.76,
"learning_rate": 0.0004262045455660132,
"loss": 0.192,
"step": 11900
},
{
"epoch": 4.78,
"learning_rate": 0.0004246056058054444,
"loss": 0.2138,
"step": 11950
},
{
"epoch": 4.8,
"learning_rate": 0.000422992598480097,
"loss": 0.2031,
"step": 12000
},
{
"epoch": 4.82,
"learning_rate": 0.0004213656535461942,
"loss": 0.1608,
"step": 12050
},
{
"epoch": 4.84,
"learning_rate": 0.0004197249020828794,
"loss": 0.2179,
"step": 12100
},
{
"epoch": 4.86,
"learning_rate": 0.00041807047628165576,
"loss": 0.2141,
"step": 12150
},
{
"epoch": 4.88,
"learning_rate": 0.00041640250943573574,
"loss": 0.187,
"step": 12200
},
{
"epoch": 4.9,
"learning_rate": 0.0004147211359293023,
"loss": 0.1854,
"step": 12250
},
{
"epoch": 4.92,
"learning_rate": 0.00041302649122668155,
"loss": 0.1687,
"step": 12300
},
{
"epoch": 4.94,
"learning_rate": 0.00041131871186142867,
"loss": 0.1844,
"step": 12350
},
{
"epoch": 4.96,
"learning_rate": 0.00040959793542532784,
"loss": 0.2203,
"step": 12400
},
{
"epoch": 4.98,
"learning_rate": 0.0004078643005573071,
"loss": 0.1733,
"step": 12450
},
{
"epoch": 5.0,
"learning_rate": 0.00040611794693226795,
"loss": 0.1845,
"step": 12500
},
{
"epoch": 5.0,
"eval_accuracy": 0.9269,
"eval_loss": 0.21157951653003693,
"eval_runtime": 132.481,
"eval_samples_per_second": 75.483,
"eval_steps_per_second": 4.718,
"step": 12500
},
{
"epoch": 5.02,
"learning_rate": 0.00040435901524983245,
"loss": 0.1696,
"step": 12550
},
{
"epoch": 5.04,
"learning_rate": 0.00040258764722300727,
"loss": 0.1566,
"step": 12600
},
{
"epoch": 5.06,
"learning_rate": 0.00040080398556676625,
"loss": 0.1533,
"step": 12650
},
{
"epoch": 5.08,
"learning_rate": 0.00039900817398655223,
"loss": 0.1357,
"step": 12700
},
{
"epoch": 5.1,
"learning_rate": 0.0003972003571666988,
"loss": 0.1493,
"step": 12750
},
{
"epoch": 5.12,
"learning_rate": 0.00039538068075877376,
"loss": 0.2111,
"step": 12800
},
{
"epoch": 5.14,
"learning_rate": 0.0003935492913698441,
"loss": 0.1651,
"step": 12850
},
{
"epoch": 5.16,
"learning_rate": 0.00039170633655066415,
"loss": 0.1535,
"step": 12900
},
{
"epoch": 5.18,
"learning_rate": 0.000389851964783788,
"loss": 0.1618,
"step": 12950
},
{
"epoch": 5.2,
"learning_rate": 0.00038798632547160653,
"loss": 0.1672,
"step": 13000
},
{
"epoch": 5.22,
"learning_rate": 0.00038610956892431015,
"loss": 0.1675,
"step": 13050
},
{
"epoch": 5.24,
"learning_rate": 0.0003842218463477791,
"loss": 0.1482,
"step": 13100
},
{
"epoch": 5.26,
"learning_rate": 0.0003823233098314008,
"loss": 0.1637,
"step": 13150
},
{
"epoch": 5.28,
"learning_rate": 0.00038041411233581636,
"loss": 0.1497,
"step": 13200
},
{
"epoch": 5.3,
"learning_rate": 0.0003784944076805974,
"loss": 0.1742,
"step": 13250
},
{
"epoch": 5.32,
"learning_rate": 0.00037656435053185226,
"loss": 0.1357,
"step": 13300
},
{
"epoch": 5.34,
"learning_rate": 0.0003746240963897659,
"loss": 0.1938,
"step": 13350
},
{
"epoch": 5.36,
"learning_rate": 0.000372673801576071,
"loss": 0.1506,
"step": 13400
},
{
"epoch": 5.38,
"learning_rate": 0.0003707136232214534,
"loss": 0.1912,
"step": 13450
},
{
"epoch": 5.4,
"learning_rate": 0.0003687437192528932,
"loss": 0.1429,
"step": 13500
},
{
"epoch": 5.42,
"learning_rate": 0.0003667642483809398,
"loss": 0.1579,
"step": 13550
},
{
"epoch": 5.44,
"learning_rate": 0.0003647753700869262,
"loss": 0.1754,
"step": 13600
},
{
"epoch": 5.46,
"learning_rate": 0.00036277724461011905,
"loss": 0.1572,
"step": 13650
},
{
"epoch": 5.48,
"learning_rate": 0.0003607700329348088,
"loss": 0.1964,
"step": 13700
},
{
"epoch": 5.5,
"learning_rate": 0.00035875389677734,
"loss": 0.1813,
"step": 13750
},
{
"epoch": 5.52,
"learning_rate": 0.0003567289985730813,
"loss": 0.1673,
"step": 13800
},
{
"epoch": 5.54,
"learning_rate": 0.00035469550146333947,
"loss": 0.1418,
"step": 13850
},
{
"epoch": 5.56,
"learning_rate": 0.0003526535692822146,
"loss": 0.1536,
"step": 13900
},
{
"epoch": 5.58,
"learning_rate": 0.0003506033665434007,
"loss": 0.1923,
"step": 13950
},
{
"epoch": 5.6,
"learning_rate": 0.0003485450584269317,
"loss": 0.1772,
"step": 14000
},
{
"epoch": 5.62,
"learning_rate": 0.0003464788107658724,
"loss": 0.152,
"step": 14050
},
{
"epoch": 5.64,
"learning_rate": 0.000344446345543944,
"loss": 0.1638,
"step": 14100
},
{
"epoch": 5.66,
"learning_rate": 0.00034236486931606976,
"loss": 0.195,
"step": 14150
},
{
"epoch": 5.68,
"learning_rate": 0.00034027595146696936,
"loss": 0.1738,
"step": 14200
},
{
"epoch": 5.7,
"learning_rate": 0.0003381797602958623,
"loss": 0.1539,
"step": 14250
},
{
"epoch": 5.72,
"learning_rate": 0.00033607646468796263,
"loss": 0.1749,
"step": 14300
},
{
"epoch": 5.74,
"learning_rate": 0.0003339662341008717,
"loss": 0.1713,
"step": 14350
},
{
"epoch": 5.76,
"learning_rate": 0.0003318492385509267,
"loss": 0.151,
"step": 14400
},
{
"epoch": 5.78,
"learning_rate": 0.00032972564859950137,
"loss": 0.1818,
"step": 14450
},
{
"epoch": 5.8,
"learning_rate": 0.0003275956353392653,
"loss": 0.1499,
"step": 14500
},
{
"epoch": 5.82,
"learning_rate": 0.00032545937038039904,
"loss": 0.1601,
"step": 14550
},
{
"epoch": 5.84,
"learning_rate": 0.00032331702583676745,
"loss": 0.1754,
"step": 14600
},
{
"epoch": 5.86,
"learning_rate": 0.0003211687743120539,
"loss": 0.1466,
"step": 14650
},
{
"epoch": 5.88,
"learning_rate": 0.0003190147888858529,
"loss": 0.1606,
"step": 14700
},
{
"epoch": 5.9,
"learning_rate": 0.0003168552430997262,
"loss": 0.1654,
"step": 14750
},
{
"epoch": 5.92,
"learning_rate": 0.0003146903109432208,
"loss": 0.166,
"step": 14800
},
{
"epoch": 5.94,
"learning_rate": 0.0003125201668398506,
"loss": 0.1513,
"step": 14850
},
{
"epoch": 5.96,
"learning_rate": 0.0003103449856330443,
"loss": 0.1736,
"step": 14900
},
{
"epoch": 5.98,
"learning_rate": 0.0003081649425720579,
"loss": 0.2036,
"step": 14950
},
{
"epoch": 6.0,
"learning_rate": 0.0003059802132978558,
"loss": 0.205,
"step": 15000
},
{
"epoch": 6.0,
"eval_accuracy": 0.9312,
"eval_loss": 0.19459494948387146,
"eval_runtime": 132.3124,
"eval_samples_per_second": 75.579,
"eval_steps_per_second": 4.724,
"step": 15000
}
],
"logging_steps": 50,
"max_steps": 25000,
"num_train_epochs": 10,
"save_steps": 500,
"total_flos": 3.50033847822048e+16,
"trial_name": null,
"trial_params": null
}