nomnoos37/stt-turbo-1227-v1.1-peft-eng-2k-rank64-full-train

Whisper Small ko

This model is a fine-tuned version of openai/whisper-large-v3-turbo on the custom dataset. It achieves the following results on the evaluation set:

• Loss: 0.3680

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0001
• train_batch_size: 64
• eval_batch_size: 256
• seed: 42
• optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 200
• training_steps: 2000
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss
0.597	0.0153	10	1.5896
0.6039	0.0306	20	1.5751
0.5982	0.0459	30	1.5476
0.5547	0.0612	40	1.4984
0.5346	0.0765	50	1.4090
0.4456	0.0917	60	1.2126
0.3208	0.1070	70	0.9587
0.2289	0.1223	80	0.9004
0.1958	0.1376	90	0.8680
0.1832	0.1529	100	0.8425
0.1618	0.1682	110	0.8191
0.1649	0.1835	120	0.7813
0.1416	0.1988	130	0.7523
0.142	0.2141	140	0.7328
0.1386	0.2294	150	0.7280
0.1362	0.2446	160	0.7054
0.1293	0.2599	170	0.6869
0.1313	0.2752	180	0.6788
0.1356	0.2905	190	0.6736
0.1377	0.3058	200	0.6692
0.1332	0.3211	210	0.6521
0.1237	0.3364	220	0.6593
0.1153	0.3517	230	0.6551
0.1236	0.3670	240	0.6427
0.1084	0.3823	250	0.6343
0.1292	0.3976	260	0.6168
0.1182	0.4128	270	0.6030
0.1142	0.4281	280	0.6027
0.1198	0.4434	290	0.6147
0.1111	0.4587	300	0.6141
0.1014	0.4740	310	0.6062
0.1115	0.4893	320	0.5983
0.1082	0.5046	330	0.6016
0.1024	0.5199	340	0.5988
0.0968	0.5352	350	0.5907
0.1052	0.5505	360	0.5890
0.1038	0.5657	370	0.5807
0.1116	0.5810	380	0.5696
0.1005	0.5963	390	0.5662
0.1215	0.6116	400	0.5562
0.0969	0.6269	410	0.5628
0.106	0.6422	420	0.5664
0.0949	0.6575	430	0.5553
0.0952	0.6728	440	0.5636
0.1101	0.6881	450	0.5532
0.1125	0.7034	460	0.5539
0.1052	0.7187	470	0.5584
0.1041	0.7339	480	0.5624
0.1024	0.7492	490	0.5480
0.1006	0.7645	500	0.5385
0.0957	0.7798	510	0.5456
0.1042	0.7951	520	0.5415
0.1067	0.8104	530	0.5426
0.1047	0.8257	540	0.5346
0.1072	0.8410	550	0.5315
0.098	0.8563	560	0.5237
0.1091	0.8716	570	0.5197
0.096	0.8869	580	0.5240
0.0895	0.9021	590	0.5254
0.0975	0.9174	600	0.5307
0.0998	0.9327	610	0.5235
0.0972	0.9480	620	0.5197
0.0967	0.9633	630	0.5041
0.0968	0.9786	640	0.5032
0.0981	0.9939	650	0.4923
0.083	1.0092	660	0.4843
0.0885	1.0245	670	0.4822
0.1085	1.0398	680	0.4807
0.0889	1.0550	690	0.4807
0.0897	1.0703	700	0.4757
0.0941	1.0856	710	0.4670
0.092	1.1009	720	0.4679
0.0901	1.1162	730	0.4637
0.1065	1.1315	740	0.4724
0.0807	1.1468	750	0.4709
0.0893	1.1621	760	0.4728
0.104	1.1774	770	0.4781
0.0847	1.1927	780	0.4764
0.0981	1.2080	790	0.4723
0.0871	1.2232	800	0.4650
0.0933	1.2385	810	0.4613
0.0855	1.2538	820	0.4582
0.0877	1.2691	830	0.4634
0.0887	1.2844	840	0.4703
0.091	1.2997	850	0.4668
0.0902	1.3150	860	0.4621
0.0876	1.3303	870	0.4485
0.0808	1.3456	880	0.4487
0.0811	1.3609	890	0.4614
0.0828	1.3761	900	0.4684
0.0895	1.3914	910	0.4599
0.0852	1.4067	920	0.4549
0.0927	1.4220	930	0.4458
0.0879	1.4373	940	0.4458
0.1015	1.4526	950	0.4390
0.0919	1.4679	960	0.4417
0.0817	1.4832	970	0.4380
0.0833	1.4985	980	0.4360
0.093	1.5138	990	0.4375
0.0897	1.5291	1000	0.4353
0.0818	1.5443	1010	0.4348
0.0891	1.5596	1020	0.4243
0.0942	1.5749	1030	0.4263
0.0852	1.5902	1040	0.4286
0.0815	1.6055	1050	0.4272
0.081	1.6208	1060	0.4189
0.0848	1.6361	1070	0.4159
0.0897	1.6514	1080	0.4139
0.0845	1.6667	1090	0.4101
0.0815	1.6820	1100	0.4091
0.0789	1.6972	1110	0.4083
0.0995	1.7125	1120	0.4109
0.0827	1.7278	1130	0.4105
0.085	1.7431	1140	0.4105
0.0905	1.7584	1150	0.4116
0.0844	1.7737	1160	0.4087
0.0898	1.7890	1170	0.4080
0.0789	1.8043	1180	0.4106
0.0864	1.8196	1190	0.4126
0.0715	1.8349	1200	0.4133
0.0934	1.8502	1210	0.4086
0.081	1.8654	1220	0.4057
0.0829	1.8807	1230	0.4040
0.0795	1.8960	1240	0.4050
0.082	1.9113	1250	0.4068
0.0831	1.9266	1260	0.4021
0.094	1.9419	1270	0.4007
0.0786	1.9572	1280	0.3993
0.0837	1.9725	1290	0.3973
0.0773	1.9878	1300	0.3987
0.0993	2.0031	1310	0.4047
0.0851	2.0183	1320	0.4009
0.0826	2.0336	1330	0.3985
0.0766	2.0489	1340	0.3947
0.0778	2.0642	1350	0.3930
0.0729	2.0795	1360	0.3951
0.0769	2.0948	1370	0.3961
0.0802	2.1101	1380	0.3949
0.0787	2.1254	1390	0.3959
0.0773	2.1407	1400	0.3940
0.0729	2.1560	1410	0.3945
0.0795	2.1713	1420	0.3962
0.083	2.1865	1430	0.3942
0.0796	2.2018	1440	0.3894
0.0715	2.2171	1450	0.3886
0.0771	2.2324	1460	0.3878
0.0846	2.2477	1470	0.3856
0.0723	2.2630	1480	0.3849
0.0931	2.2783	1490	0.3836
0.0898	2.2936	1500	0.3799
0.0748	2.3089	1510	0.3800
0.0852	2.3242	1520	0.3811
0.0701	2.3394	1530	0.3814
0.085	2.3547	1540	0.3814
0.076	2.3700	1550	0.3784
0.0758	2.3853	1560	0.3785
0.0886	2.4006	1570	0.3792
0.0733	2.4159	1580	0.3823
0.0809	2.4312	1590	0.3809
0.0788	2.4465	1600	0.3768
0.0761	2.4618	1610	0.3762
0.0757	2.4771	1620	0.3768
0.0774	2.4924	1630	0.3764
0.0721	2.5076	1640	0.3759
0.066	2.5229	1650	0.3763
0.075	2.5382	1660	0.3765
0.0833	2.5535	1670	0.3765
0.0779	2.5688	1680	0.3761
0.0802	2.5841	1690	0.3761
0.0772	2.5994	1700	0.3755
0.0739	2.6147	1710	0.3743
0.0773	2.6300	1720	0.3736
0.0793	2.6453	1730	0.3719
0.0775	2.6606	1740	0.3718
0.08	2.6758	1750	0.3724
0.0751	2.6911	1760	0.3731
0.0696	2.7064	1770	0.3726
0.0792	2.7217	1780	0.3706
0.069	2.7370	1790	0.3705
0.076	2.7523	1800	0.3713
0.0724	2.7676	1810	0.3719
0.0767	2.7829	1820	0.3719
0.079	2.7982	1830	0.3713
0.0761	2.8135	1840	0.3714
0.0722	2.8287	1850	0.3711
0.0904	2.8440	1860	0.3703
0.0808	2.8593	1870	0.3695
0.0718	2.8746	1880	0.3691
0.0789	2.8899	1890	0.3690
0.089	2.9052	1900	0.3687
0.0751	2.9205	1910	0.3689
0.0856	2.9358	1920	0.3690
0.0812	2.9511	1930	0.3689
0.077	2.9664	1940	0.3687
0.0764	2.9817	1950	0.3685
0.0747	2.9969	1960	0.3682
0.065	3.0122	1970	0.3682
0.0796	3.0275	1980	0.3681
0.0767	3.0428	1990	0.3681
0.0792	3.0581	2000	0.3680

Framework versions

• PEFT 0.14.0
• Transformers 4.47.1
• Pytorch 2.5.1+cu124
• Datasets 3.2.0
• Tokenizers 0.21.0