wav2vec2-large-mms-1b-nhi-adapterft-ilv

This model is a fine-tuned version of facebook/mms-1b-all on the audiofolder dataset. It achieves the following results on the evaluation set:

• Loss: 0.5244
• Wer: 0.3611
• Cer: 0.1060

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.001
• train_batch_size: 20
• eval_batch_size: 32
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 200
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer
1.0326	1.6529	200	0.6958	0.6481	0.1936
0.8213	3.3058	400	0.6097	0.5563	0.1615
0.7669	4.9587	600	0.5498	0.5405	0.1580
0.7058	6.6116	800	0.5066	0.5015	0.1430
0.6592	8.2645	1000	0.5060	0.4907	0.1388
0.6518	9.9174	1200	0.4823	0.4772	0.1357
0.6181	11.5702	1400	0.4753	0.4691	0.1331
0.5987	13.2231	1600	0.4944	0.4761	0.1369
0.5762	14.8760	1800	0.4588	0.4510	0.1259
0.5702	16.5289	2000	0.4705	0.4533	0.1272
0.5308	18.1818	2200	0.4797	0.4549	0.1287
0.5317	19.8347	2400	0.4807	0.4680	0.1310
0.5179	21.4876	2600	0.4509	0.4286	0.1235
0.5116	23.1405	2800	0.4451	0.4363	0.1242
0.4869	24.7934	3000	0.4246	0.4267	0.1192
0.47	26.4463	3200	0.4474	0.4340	0.1249
0.4663	28.0992	3400	0.4379	0.4120	0.1191
0.4557	29.7521	3600	0.4476	0.4236	0.1212
0.4564	31.4050	3800	0.4248	0.4062	0.1171
0.4454	33.0579	4000	0.4370	0.4120	0.1189
0.4435	34.7107	4200	0.4282	0.4090	0.1182
0.439	36.3636	4400	0.4233	0.4008	0.1158
0.4299	38.0165	4600	0.4301	0.4101	0.1177
0.4125	39.6694	4800	0.4426	0.4074	0.1190
0.401	41.3223	5000	0.4378	0.4140	0.1186
0.4034	42.9752	5200	0.4308	0.3993	0.1161
0.4052	44.6281	5400	0.4399	0.4001	0.1160
0.3889	46.2810	5600	0.4443	0.4047	0.1169
0.3976	47.9339	5800	0.4345	0.3835	0.1171
0.3737	49.5868	6000	0.4505	0.3916	0.1133
0.3845	51.2397	6200	0.4342	0.3966	0.1139
0.3643	52.8926	6400	0.4454	0.3854	0.1146
0.3563	54.5455	6600	0.4385	0.3881	0.1143
0.3438	56.1983	6800	0.4524	0.3958	0.1174
0.3374	57.8512	7000	0.4328	0.3893	0.1161
0.3404	59.5041	7200	0.4532	0.3927	0.1149
0.3319	61.1570	7400	0.4425	0.3947	0.1173
0.3277	62.8099	7600	0.4270	0.3958	0.1148
0.3284	64.4628	7800	0.4608	0.3843	0.1131
0.3202	66.1157	8000	0.4453	0.3873	0.1126
0.3229	67.7686	8200	0.4657	0.3908	0.1162
0.3131	69.4215	8400	0.4316	0.3746	0.1127
0.3115	71.0744	8600	0.4376	0.3796	0.1123
0.3045	72.7273	8800	0.4581	0.3943	0.1170
0.2979	74.3802	9000	0.4444	0.3769	0.1126
0.2977	76.0331	9200	0.4447	0.3939	0.1162
0.2972	77.6860	9400	0.4415	0.3796	0.1134
0.2856	79.3388	9600	0.4607	0.3827	0.1134
0.2868	80.9917	9800	0.4467	0.3816	0.1116
0.2872	82.6446	10000	0.4480	0.3692	0.1102
0.2849	84.2975	10200	0.4510	0.3850	0.1131
0.2792	85.9504	10400	0.4585	0.3792	0.1109
0.2634	87.6033	10600	0.4712	0.3827	0.1129
0.2662	89.2562	10800	0.4711	0.375	0.1099
0.2642	90.9091	11000	0.4591	0.3900	0.1137
0.2553	92.5620	11200	0.4583	0.3657	0.1094
0.2431	94.2149	11400	0.4818	0.3808	0.1131
0.2593	95.8678	11600	0.4577	0.3719	0.1089
0.2577	97.5207	11800	0.4555	0.3827	0.1108
0.2515	99.1736	12000	0.4579	0.3735	0.1099
0.2566	100.8264	12200	0.4683	0.3704	0.1093
0.2492	102.4793	12400	0.4587	0.3711	0.1082
0.2388	104.1322	12600	0.4686	0.3634	0.1085
0.2449	105.7851	12800	0.4637	0.3673	0.1083
0.2444	107.4380	13000	0.4676	0.3654	0.1088
0.2423	109.0909	13200	0.4711	0.3711	0.1089
0.2236	110.7438	13400	0.4650	0.3619	0.1086
0.2367	112.3967	13600	0.4638	0.3677	0.1083
0.2237	114.0496	13800	0.4805	0.3681	0.1074
0.2307	115.7025	14000	0.4724	0.3669	0.1085
0.221	117.3554	14200	0.4734	0.3669	0.1085
0.2166	119.0083	14400	0.4852	0.3758	0.1117
0.2137	120.6612	14600	0.4801	0.3681	0.1102
0.2076	122.3140	14800	0.4822	0.3596	0.1091
0.2087	123.9669	15000	0.4835	0.3677	0.1093
0.2076	125.6198	15200	0.4771	0.3684	0.1098
0.1987	127.2727	15400	0.4868	0.3681	0.1079
0.2051	128.9256	15600	0.4771	0.3688	0.1094
0.2024	130.5785	15800	0.4885	0.3634	0.1090
0.1957	132.2314	16000	0.4980	0.3642	0.1088
0.2073	133.8843	16200	0.5003	0.3654	0.1112
0.1859	135.5372	16400	0.4980	0.3596	0.1083
0.1835	137.1901	16600	0.4923	0.3661	0.1088
0.1928	138.8430	16800	0.4814	0.3592	0.1067
0.1814	140.4959	17000	0.4935	0.3696	0.1098
0.1901	142.1488	17200	0.5006	0.3657	0.1076
0.1857	143.8017	17400	0.4996	0.3627	0.1097
0.1805	145.4545	17600	0.4981	0.3688	0.1080
0.1752	147.1074	17800	0.4923	0.3553	0.1063
0.1794	148.7603	18000	0.4871	0.3549	0.1046
0.1777	150.4132	18200	0.4999	0.3557	0.1077
0.1786	152.0661	18400	0.4887	0.3615	0.1078
0.1718	153.7190	18600	0.4924	0.3611	0.1065
0.1694	155.3719	18800	0.4956	0.3665	0.1074
0.1766	157.0248	19000	0.5133	0.3623	0.1069
0.1694	158.6777	19200	0.5171	0.3661	0.1077
0.1658	160.3306	19400	0.5001	0.3573	0.1075
0.1616	161.9835	19600	0.5067	0.3665	0.1084
0.1646	163.6364	19800	0.5044	0.3650	0.1080
0.1587	165.2893	20000	0.5077	0.3580	0.1060
0.1666	166.9421	20200	0.5005	0.3580	0.1053
0.1669	168.5950	20400	0.5033	0.3596	0.1067
0.153	170.2479	20600	0.5211	0.3634	0.1070
0.1495	171.9008	20800	0.5117	0.3580	0.1056
0.1537	173.5537	21000	0.5139	0.3615	0.1048
0.152	175.2066	21200	0.5254	0.3692	0.1086
0.1533	176.8595	21400	0.5257	0.3665	0.1083
0.1473	178.5124	21600	0.5215	0.3627	0.1063
0.15	180.1653	21800	0.5261	0.3738	0.1089
0.1521	181.8182	22000	0.5267	0.3646	0.1069
0.1491	183.4711	22200	0.5251	0.3654	0.1068
0.1462	185.1240	22400	0.5202	0.3623	0.1066
0.1527	186.7769	22600	0.5166	0.3580	0.1048
0.151	188.4298	22800	0.5199	0.3619	0.1058
0.1447	190.0826	23000	0.5265	0.3588	0.1053
0.1567	191.7355	23200	0.5228	0.3630	0.1062
0.1446	193.3884	23400	0.5256	0.3615	0.1059
0.1494	195.0413	23600	0.5229	0.3611	0.1059
0.1496	196.6942	23800	0.5221	0.3619	0.1066
0.1431	198.3471	24000	0.5249	0.3619	0.1062
0.1441	200.0	24200	0.5244	0.3611	0.1060

Framework versions

• Transformers 4.41.2
• Pytorch 2.4.0
• Datasets 2.19.1
• Tokenizers 0.19.1