w2v2_ablation_with_ling_head-0drop-load-best-per-best_on_tp0.025_tl10_fp0.001_fl16

This model is a fine-tuned version of nguyenvulebinh/wav2vec2-base-vietnamese-250h on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.4603
• Wer: 0.1849

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 8
• eval_batch_size: 32
• seed: 42
• distributed_type: multi-GPU
• num_devices: 4
• total_train_batch_size: 32
• total_eval_batch_size: 128
• optimizer: Adam with betas=(0.9,0.98) and epsilon=1e-08
• lr_scheduler_type: cosine
• lr_scheduler_warmup_ratio: 0.1
• num_epochs: 100
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
114.032	0.94	100	98.5210	21.4967
63.4912	1.89	200	9.8990	1.0
5.9426	2.83	300	5.2909	1.0
5.0183	3.77	400	5.2482	1.0
4.6782	4.72	500	5.5314	1.0
4.4732	5.66	600	5.2250	1.0
4.4059	6.6	700	5.1483	1.0
4.3368	7.55	800	4.9275	1.0
4.2178	8.49	900	4.8987	1.0
3.913	9.43	1000	3.7007	0.8807
2.7998	10.38	1100	2.1296	0.5331
1.8405	11.32	1200	1.4873	0.4636
1.2987	12.26	1300	1.0532	0.3338
1.0387	13.21	1400	0.8759	0.3348
0.851	14.15	1500	0.7743	0.3604
0.7128	15.09	1600	0.6523	0.2796
0.605	16.04	1700	0.6352	0.2995
0.5315	16.98	1800	0.5920	0.2603
0.4845	17.92	1900	0.5476	0.2503
0.4257	18.87	2000	0.5398	0.2285
0.4124	19.81	2100	0.5378	0.2764
0.3595	20.75	2200	0.5109	0.2147
0.3958	21.7	2300	0.4825	0.2342
0.3546	22.64	2400	0.4649	0.2251
0.304	23.58	2500	0.4701	0.2115
0.291	24.53	2600	0.4515	0.2180
0.2946	25.47	2700	0.4537	0.2012
0.2588	26.42	2800	0.4423	0.1939
0.2625	27.36	2900	0.4493	0.1924
0.2385	28.3	3000	0.4364	0.1724
0.2327	29.25	3100	0.4382	0.1967
0.26	30.19	3200	0.4454	0.1823
0.2151	31.13	3300	0.4424	0.1987
0.2213	32.08	3400	0.4377	0.2085
0.2226	33.02	3500	0.4375	0.2095
0.208	33.96	3600	0.4358	0.1994
0.2061	34.91	3700	0.4308	0.1919
0.1929	35.85	3800	0.4298	0.1905
0.1786	36.79	3900	0.4139	0.1974
0.172	37.74	4000	0.4183	0.1823
0.1769	38.68	4100	0.4252	0.1890
0.1813	39.62	4200	0.4360	0.1880
0.1676	40.57	4300	0.4325	0.1770
0.1581	41.51	4400	0.4386	0.1755
0.17	42.45	4500	0.4374	0.1979
0.1778	43.4	4600	0.4360	0.1726
0.162	44.34	4700	0.4424	0.1822
0.1605	45.28	4800	0.4500	0.2065
0.1472	46.23	4900	0.4555	0.2102
0.1428	47.17	5000	0.4358	0.1733
0.1393	48.11	5100	0.4406	0.1904
0.1444	49.06	5200	0.4481	0.2030
0.1401	50.0	5300	0.4507	0.1952
0.1311	50.94	5400	0.4353	0.1857
0.1337	51.89	5500	0.4439	0.2018
0.1289	52.83	5600	0.4461	0.1946
0.1234	53.77	5700	0.4395	0.2048
0.1301	54.72	5800	0.4590	0.2114
0.1378	55.66	5900	0.4548	0.2144
0.1251	56.6	6000	0.4477	0.1877
0.1224	57.55	6100	0.4478	0.1933
0.1233	58.49	6200	0.4467	0.1841
0.1237	59.43	6300	0.4399	0.1834
0.1176	60.38	6400	0.4471	0.2097
0.1117	61.32	6500	0.4587	0.1970
0.111	62.26	6600	0.4707	0.2102
0.1239	63.21	6700	0.4518	0.1923
0.1152	64.15	6800	0.4503	0.1967
0.1121	65.09	6900	0.4467	0.1944
0.1175	66.04	7000	0.4486	0.1914
0.1242	66.98	7100	0.4537	0.1973
0.111	67.92	7200	0.4587	0.2008
0.1063	68.87	7300	0.4551	0.1929
0.1133	69.81	7400	0.4547	0.1929
0.1098	70.75	7500	0.4512	0.1982
0.1123	71.7	7600	0.4578	0.1955
0.1144	72.64	7700	0.4533	0.1830
0.1113	73.58	7800	0.4545	0.1788
0.0968	74.53	7900	0.4584	0.1725
0.0951	75.47	8000	0.4646	0.1859
0.0982	76.42	8100	0.4557	0.1813
0.0959	77.36	8200	0.4566	0.1742
0.093	78.3	8300	0.4604	0.1880
0.103	79.25	8400	0.4614	0.1908
0.1101	80.19	8500	0.4586	0.1805
0.1046	81.13	8600	0.4590	0.1825
0.0979	82.08	8700	0.4555	0.1762
0.103	83.02	8800	0.4573	0.1780
0.0958	83.96	8900	0.4575	0.1803
0.0948	84.91	9000	0.4581	0.1814
0.1003	85.85	9100	0.4600	0.1830
0.1066	86.79	9200	0.4609	0.1870
0.0887	87.74	9300	0.4615	0.1834
0.0936	88.68	9400	0.4610	0.1819
0.0892	89.62	9500	0.4595	0.1801
0.1039	90.57	9600	0.4612	0.1837
0.097	91.51	9700	0.4610	0.1834
0.0969	92.45	9800	0.4605	0.1844
0.0946	93.4	9900	0.4596	0.1843
0.0947	94.34	10000	0.4605	0.1850
0.095	95.28	10100	0.4616	0.1861
0.0856	96.23	10200	0.4611	0.1853
0.0983	97.17	10300	0.4603	0.1850
0.0947	98.11	10400	0.4605	0.1853
0.0948	99.06	10500	0.4604	0.1853
0.0917	100.0	10600	0.4603	0.1849

Framework versions

• Transformers 4.35.2
• Pytorch 1.13.1+cu117
• Datasets 2.12.0
• Tokenizers 0.14.1