gpt2_stereoset_classifieronly

This model is a fine-tuned version of gpt2 on the stereoset dataset. It achieves the following results on the evaluation set:

• Loss: 0.5990
• Accuracy: 0.6923
• Tp: 0.3501
• Tn: 0.3422
• Fp: 0.1625
• Fn: 0.1452

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0005
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 50

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Tp	Tn	Fp	Fn
0.8922	0.43	20	0.6913	0.5549	0.2402	0.3148	0.1900	0.2551
0.7884	0.85	40	0.6671	0.5934	0.2182	0.3752	0.1295	0.2771
0.6991	1.28	60	0.6561	0.6193	0.2206	0.3987	0.1060	0.2747
0.6819	1.7	80	0.6499	0.6311	0.2088	0.4223	0.0824	0.2865
0.6501	2.13	100	0.6379	0.6507	0.2991	0.3516	0.1531	0.1962
0.6566	2.55	120	0.6569	0.6185	0.1695	0.4490	0.0557	0.3257
0.6671	2.98	140	0.6313	0.6609	0.2943	0.3666	0.1381	0.2009
0.6551	3.4	160	0.6309	0.6484	0.3862	0.2622	0.2425	0.1091
0.633	3.83	180	0.6244	0.6656	0.3014	0.3642	0.1405	0.1939
0.6432	4.26	200	0.6320	0.6554	0.2402	0.4152	0.0895	0.2551
0.6326	4.68	220	0.6240	0.6601	0.2849	0.3752	0.1295	0.2104
0.6347	5.11	240	0.6259	0.6523	0.3689	0.2834	0.2214	0.1264
0.6204	5.53	260	0.6256	0.6499	0.3697	0.2802	0.2245	0.1256
0.6242	5.96	280	0.6172	0.6774	0.3210	0.3564	0.1484	0.1743
0.6189	6.38	300	0.6186	0.6546	0.3493	0.3053	0.1994	0.1460
0.625	6.81	320	0.6187	0.6727	0.2881	0.3846	0.1201	0.2072
0.5963	7.23	340	0.6173	0.6758	0.3571	0.3187	0.1860	0.1381
0.6214	7.66	360	0.6158	0.6695	0.3203	0.3493	0.1554	0.1750
0.6007	8.09	380	0.6123	0.6797	0.3611	0.3187	0.1860	0.1342
0.6454	8.51	400	0.6168	0.6570	0.3736	0.2834	0.2214	0.1217
0.6012	8.94	420	0.6115	0.6868	0.3320	0.3548	0.1499	0.1633
0.627	9.36	440	0.6485	0.6193	0.1656	0.4537	0.0510	0.3297
0.6213	9.79	460	0.6092	0.6829	0.3022	0.3807	0.1240	0.1931
0.6286	10.21	480	0.6109	0.6711	0.3603	0.3108	0.1939	0.1350
0.609	10.64	500	0.6134	0.6633	0.3611	0.3022	0.2025	0.1342
0.5958	11.06	520	0.6409	0.6248	0.4262	0.1986	0.3061	0.0691
0.6494	11.49	540	0.6332	0.6342	0.4192	0.2151	0.2896	0.0761
0.6012	11.91	560	0.6159	0.6593	0.3885	0.2708	0.2339	0.1068
0.606	12.34	580	0.6050	0.6947	0.3359	0.3587	0.1460	0.1593
0.5872	12.77	600	0.6135	0.6641	0.3878	0.2763	0.2284	0.1075
0.6026	13.19	620	0.6061	0.6962	0.3265	0.3697	0.1350	0.1688
0.6179	13.62	640	0.6118	0.6876	0.2826	0.4050	0.0997	0.2127
0.5744	14.04	660	0.6058	0.6923	0.3030	0.3893	0.1154	0.1923
0.6061	14.47	680	0.6072	0.6860	0.2849	0.4011	0.1036	0.2104
0.609	14.89	700	0.6025	0.7064	0.3367	0.3697	0.1350	0.1586
0.6019	15.32	720	0.6046	0.6876	0.3540	0.3336	0.1711	0.1413
0.6183	15.74	740	0.6087	0.6735	0.3791	0.2943	0.2104	0.1162
0.6173	16.17	760	0.6010	0.6954	0.3407	0.3548	0.1499	0.1546
0.5873	16.6	780	0.6078	0.6766	0.3815	0.2951	0.2096	0.1138
0.6095	17.02	800	0.6151	0.6625	0.3948	0.2677	0.2370	0.1005
0.5936	17.45	820	0.6026	0.6915	0.3469	0.3446	0.1601	0.1484
0.5821	17.87	840	0.6025	0.6931	0.3485	0.3446	0.1601	0.1468
0.6036	18.3	860	0.6032	0.7049	0.3391	0.3658	0.1389	0.1562
0.5872	18.72	880	0.6057	0.6813	0.3587	0.3226	0.1821	0.1366
0.6085	19.15	900	0.6045	0.6845	0.3571	0.3273	0.1774	0.1381
0.5972	19.57	920	0.6203	0.6562	0.4042	0.2520	0.2527	0.0911
0.5732	20.0	940	0.6095	0.6672	0.3807	0.2865	0.2182	0.1146
0.5718	20.43	960	0.6054	0.6868	0.2936	0.3932	0.1115	0.2017
0.5919	20.85	980	0.6031	0.6931	0.3501	0.3430	0.1617	0.1452
0.6175	21.28	1000	0.6088	0.6703	0.3823	0.2881	0.2166	0.1130
0.5793	21.7	1020	0.5986	0.6994	0.3430	0.3564	0.1484	0.1523
0.5943	22.13	1040	0.6064	0.6852	0.2826	0.4027	0.1020	0.2127
0.5716	22.55	1060	0.5996	0.6947	0.3485	0.3462	0.1586	0.1468
0.6115	22.98	1080	0.6111	0.6727	0.3893	0.2834	0.2214	0.1060
0.5984	23.4	1100	0.6058	0.6837	0.3807	0.3030	0.2017	0.1146
0.5882	23.83	1120	0.5993	0.6962	0.3352	0.3611	0.1436	0.1601
0.5924	24.26	1140	0.6128	0.6680	0.3909	0.2771	0.2276	0.1044
0.5984	24.68	1160	0.6017	0.6970	0.3242	0.3728	0.1319	0.1711
0.5781	25.11	1180	0.6018	0.7002	0.3352	0.3650	0.1397	0.1601
0.5937	25.53	1200	0.6051	0.6845	0.3619	0.3226	0.1821	0.1334
0.5678	25.96	1220	0.5998	0.7002	0.3297	0.3705	0.1342	0.1656
0.5776	26.38	1240	0.6202	0.6523	0.3972	0.2551	0.2496	0.0981
0.5891	26.81	1260	0.6080	0.6821	0.3791	0.3030	0.2017	0.1162
0.5915	27.23	1280	0.6026	0.6947	0.2998	0.3948	0.1099	0.1954
0.5972	27.66	1300	0.5994	0.6931	0.3556	0.3375	0.1672	0.1397
0.5721	28.09	1320	0.6038	0.6829	0.3736	0.3093	0.1954	0.1217
0.5813	28.51	1340	0.5981	0.6954	0.3367	0.3587	0.1460	0.1586
0.5914	28.94	1360	0.5982	0.6986	0.3367	0.3619	0.1429	0.1586
0.5848	29.36	1380	0.5977	0.7002	0.3399	0.3603	0.1444	0.1554
0.5772	29.79	1400	0.6024	0.6876	0.3673	0.3203	0.1845	0.1279
0.581	30.21	1420	0.6004	0.6939	0.3611	0.3328	0.1719	0.1342
0.5881	30.64	1440	0.5969	0.7002	0.3462	0.3540	0.1507	0.1491
0.601	31.06	1460	0.5970	0.6994	0.3328	0.3666	0.1381	0.1625
0.5759	31.49	1480	0.5971	0.6986	0.3375	0.3611	0.1436	0.1578
0.5738	31.91	1500	0.5969	0.7002	0.3454	0.3548	0.1499	0.1499
0.5576	32.34	1520	0.5983	0.6931	0.3493	0.3438	0.1609	0.1460
0.58	32.77	1540	0.5976	0.7009	0.3359	0.3650	0.1397	0.1593
0.5798	33.19	1560	0.5980	0.7017	0.3469	0.3548	0.1499	0.1484
0.5802	33.62	1580	0.5988	0.6954	0.3477	0.3477	0.1570	0.1476
0.587	34.04	1600	0.5997	0.6931	0.3532	0.3399	0.1648	0.1421
0.5499	34.47	1620	0.6081	0.6797	0.3830	0.2967	0.2080	0.1122
0.5878	34.89	1640	0.5989	0.6970	0.3438	0.3532	0.1515	0.1515
0.5855	35.32	1660	0.6073	0.6829	0.3815	0.3014	0.2033	0.1138
0.5836	35.74	1680	0.5977	0.7002	0.3359	0.3642	0.1405	0.1593
0.5576	36.17	1700	0.5984	0.6986	0.3399	0.3587	0.1460	0.1554
0.5929	36.6	1720	0.6035	0.6907	0.3697	0.3210	0.1837	0.1256
0.5672	37.02	1740	0.6023	0.6923	0.3705	0.3218	0.1829	0.1248
0.5774	37.45	1760	0.5986	0.6947	0.3509	0.3438	0.1609	0.1444
0.5785	37.87	1780	0.5990	0.6962	0.3195	0.3768	0.1279	0.1758
0.5885	38.3	1800	0.5979	0.6994	0.3375	0.3619	0.1429	0.1578
0.5449	38.72	1820	0.6030	0.6923	0.3713	0.3210	0.1837	0.1240
0.5857	39.15	1840	0.5990	0.7009	0.3328	0.3681	0.1366	0.1625
0.5839	39.57	1860	0.6003	0.6907	0.3548	0.3359	0.1688	0.1405
0.5806	40.0	1880	0.5976	0.6962	0.3414	0.3548	0.1499	0.1538
0.5692	40.43	1900	0.5976	0.7025	0.3399	0.3626	0.1421	0.1554
0.593	40.85	1920	0.5984	0.6947	0.3430	0.3516	0.1531	0.1523
0.5736	41.28	1940	0.5992	0.6931	0.3556	0.3375	0.1672	0.1397
0.5653	41.7	1960	0.5978	0.6970	0.3438	0.3532	0.1515	0.1515
0.5631	42.13	1980	0.6006	0.6947	0.3603	0.3344	0.1703	0.1350
0.5794	42.55	2000	0.5983	0.6994	0.3336	0.3658	0.1389	0.1617
0.5876	42.98	2020	0.5984	0.6939	0.3422	0.3516	0.1531	0.1531
0.5726	43.4	2040	0.6005	0.6962	0.3634	0.3328	0.1719	0.1319
0.566	43.83	2060	0.5982	0.6970	0.3242	0.3728	0.1319	0.1711
0.5603	44.26	2080	0.5994	0.6947	0.3579	0.3367	0.1680	0.1374
0.5697	44.68	2100	0.6037	0.6892	0.3728	0.3163	0.1884	0.1224
0.5624	45.11	2120	0.5981	0.7002	0.3297	0.3705	0.1342	0.1656
0.5648	45.53	2140	0.5979	0.6962	0.3422	0.3540	0.1507	0.1531
0.578	45.96	2160	0.6024	0.6907	0.3713	0.3195	0.1852	0.1240
0.5593	46.38	2180	0.5977	0.7002	0.3391	0.3611	0.1436	0.1562
0.5755	46.81	2200	0.5979	0.6978	0.3336	0.3642	0.1405	0.1617
0.59	47.23	2220	0.6046	0.6868	0.3736	0.3132	0.1915	0.1217
0.5648	47.66	2240	0.5997	0.6931	0.3564	0.3367	0.1680	0.1389
0.5812	48.09	2260	0.5979	0.6954	0.3336	0.3619	0.1429	0.1617
0.5796	48.51	2280	0.5979	0.6962	0.3336	0.3626	0.1421	0.1617
0.5701	48.94	2300	0.5981	0.6947	0.3454	0.3493	0.1554	0.1499
0.5807	49.36	2320	0.5988	0.6931	0.3501	0.3430	0.1617	0.1452
0.5836	49.79	2340	0.5990	0.6923	0.3501	0.3422	0.1625	0.1452

Framework versions

• Transformers 4.26.1
• Pytorch 1.13.1
• Datasets 2.10.1
• Tokenizers 0.13.2