wav2vec2-xls-r-300m-CV_Fleurs_AMMI_ALFFA-sw-100hrs-v1

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.5053
• Wer: 0.1682
• Cer: 0.0545

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 8
• eval_batch_size: 4
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 16
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• num_epochs: 100
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer
2.1357	1.0	3941	0.5377	0.3748	0.1124
0.8699	2.0	7882	0.4594	0.3028	0.0896
0.7205	3.0	11823	0.4100	0.2756	0.0831
0.6396	4.0	15764	0.3702	0.2501	0.0760
0.5828	5.0	19705	0.3398	0.2445	0.0737
0.5376	6.0	23646	0.3592	0.2410	0.0778
0.5047	7.0	27587	0.3585	0.2302	0.0709
0.4787	8.0	31528	0.3120	0.2223	0.0678
0.453	9.0	35469	0.3507	0.2302	0.0771
0.429	10.0	39410	0.3253	0.2133	0.0669
0.4104	11.0	43351	0.3185	0.2130	0.0662
0.3901	12.0	47292	0.3281	0.2081	0.0647
0.3706	13.0	51233	0.3279	0.1988	0.0622
0.3573	14.0	55174	0.3187	0.2009	0.0625
0.341	15.0	59115	0.3253	0.2005	0.0618
0.3283	16.0	63056	0.3165	0.2009	0.0632
0.3173	17.0	66997	0.3499	0.1980	0.0623
0.3026	18.0	70938	0.3293	0.1968	0.0617
0.2913	19.0	74879	0.3176	0.1900	0.0607
0.2778	20.0	78820	0.3160	0.1915	0.0621
0.2678	21.0	82761	0.3431	0.1917	0.0607
0.2556	22.0	86702	0.3236	0.1855	0.0578
0.248	23.0	90643	0.3431	0.1883	0.0594
0.2377	24.0	94584	0.3600	0.1861	0.0585
0.2327	25.0	98525	0.3780	0.1879	0.0600
0.2247	26.0	102466	0.4006	0.1864	0.0596
0.2187	27.0	106407	0.4088	0.1883	0.0586
0.2088	28.0	110348	0.3501	0.1871	0.0591
0.2037	29.0	114289	0.3657	0.1803	0.0569
0.1977	30.0	118230	0.3654	0.1857	0.0596
0.1907	31.0	122171	0.4458	0.1844	0.0575
0.1878	32.0	126112	0.3657	0.1833	0.0591
0.1849	33.0	130053	0.4225	0.1800	0.0568
0.178	34.0	133994	0.4622	0.1794	0.0567
0.1728	35.0	137935	0.4237	0.1776	0.0564
0.1676	36.0	141876	0.4002	0.1776	0.0568
0.1651	37.0	145817	0.3979	0.1751	0.0557
0.159	38.0	149758	0.4132	0.1776	0.0569
0.155	39.0	153699	0.4201	0.1767	0.0561
0.1522	40.0	157640	0.4324	0.1724	0.0554
0.1499	41.0	161581	0.4637	0.1733	0.0553
0.1459	42.0	165522	0.4578	0.1756	0.0563
0.1416	43.0	169463	0.4288	0.1717	0.0553
0.1387	44.0	173404	0.4701	0.1739	0.0559
0.1353	45.0	177345	0.4323	0.1718	0.0546
0.13	46.0	181286	0.4630	0.1687	0.0546
0.1289	47.0	185227	0.4994	0.1693	0.0541
0.1244	48.0	189168	0.4498	0.1716	0.0545
0.1218	49.0	193109	0.4808	0.1715	0.0549
0.1193	50.0	197050	0.4820	0.1726	0.0559
0.1177	51.0	200991	0.4803	0.1687	0.0541
0.1133	52.0	204932	0.4955	0.1694	0.0545
0.1113	53.0	208873	0.4737	0.1677	0.0540
0.1085	54.0	212814	0.5311	0.1702	0.0546
0.1042	55.0	216755	0.4941	0.1682	0.0540
0.1065	56.0	220696	0.5053	0.1682	0.0545

Framework versions

• Transformers 4.46.1
• Pytorch 2.1.0+cu118
• Datasets 3.1.0
• Tokenizers 0.20.1