model

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the common_voice dataset. It achieves the following results on the evaluation set:

• Loss: 0.2220
• Wer: 0.1301

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 32
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 30
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
5.9743	0.18	400	2.1457	1.0000
0.5747	0.36	800	0.3415	0.3456
0.3383	0.54	1200	0.2797	0.3095
0.2967	0.72	1600	0.2464	0.2568
0.2747	0.9	2000	0.2341	0.2466
0.2501	1.08	2400	0.2299	0.2317
0.2309	1.26	2800	0.2306	0.2328
0.2273	1.44	3200	0.2212	0.2375
0.225	1.62	3600	0.2193	0.2267
0.2204	1.8	4000	0.2157	0.2295
0.2256	1.98	4400	0.2165	0.2260
0.1941	2.17	4800	0.2105	0.2163
0.1925	2.35	5200	0.2098	0.2153
0.1925	2.53	5600	0.2120	0.2148
0.1952	2.71	6000	0.2063	0.2178
0.1971	2.89	6400	0.2100	0.2158
0.1888	3.07	6800	0.2131	0.2172
0.1702	3.25	7200	0.2155	0.2203
0.173	3.43	7600	0.2141	0.2254
0.174	3.61	8000	0.2017	0.2100
0.1802	3.79	8400	0.1998	0.2043
0.1717	3.97	8800	0.2070	0.2110
0.162	4.15	9200	0.2082	0.2157
0.154	4.33	9600	0.2163	0.2161
0.1598	4.51	10000	0.2070	0.2171
0.1576	4.69	10400	0.2034	0.2116
0.1601	4.87	10800	0.1990	0.2009
0.152	5.05	11200	0.1994	0.2039
0.1395	5.23	11600	0.2013	0.2046
0.1407	5.41	12000	0.2009	0.2022
0.1449	5.59	12400	0.1982	0.1961
0.1483	5.77	12800	0.2082	0.2054
0.1514	5.95	13200	0.1953	0.1985
0.138	6.13	13600	0.2046	0.1965
0.1322	6.31	14000	0.2076	0.1948
0.1372	6.5	14400	0.1968	0.1944
0.136	6.68	14800	0.1971	0.1963
0.1382	6.86	15200	0.2001	0.1990
0.1335	7.04	15600	0.2026	0.1935
0.1206	7.22	16000	0.1986	0.1938
0.1239	7.4	16400	0.2054	0.1919
0.1254	7.58	16800	0.1918	0.1939
0.1262	7.76	17200	0.1960	0.1947
0.126	7.94	17600	0.1932	0.1906
0.1169	8.12	18000	0.2037	0.1916
0.1142	8.3	18400	0.1999	0.1900
0.1151	8.48	18800	0.1920	0.1855
0.1121	8.66	19200	0.2007	0.1859
0.1135	8.84	19600	0.1932	0.1879
0.1158	9.02	20000	0.1916	0.1859
0.105	9.2	20400	0.1961	0.1831
0.1023	9.38	20800	0.1914	0.1791
0.1004	9.56	21200	0.1881	0.1787
0.1023	9.74	21600	0.1963	0.1817
0.1075	9.92	22000	0.1889	0.1861
0.103	10.1	22400	0.1975	0.1791
0.0952	10.28	22800	0.1979	0.1787
0.0957	10.46	23200	0.1922	0.1817
0.0966	10.65	23600	0.1953	0.1857
0.0997	10.83	24000	0.1902	0.1783
0.0981	11.01	24400	0.1959	0.1780
0.0868	11.19	24800	0.2056	0.1783
0.0905	11.37	25200	0.1958	0.1777
0.0892	11.55	25600	0.1935	0.1796
0.0891	11.73	26000	0.1968	0.1763
0.0888	11.91	26400	0.2043	0.1804
0.0842	12.09	26800	0.2043	0.1733
0.0828	12.27	27200	0.1964	0.1715
0.0827	12.45	27600	0.1991	0.1749
0.0844	12.63	28000	0.2014	0.1695
0.0837	12.81	28400	0.1973	0.1759
0.0872	12.99	28800	0.1975	0.1689
0.0778	13.17	29200	0.1979	0.1740
0.0759	13.35	29600	0.2093	0.1753
0.076	13.53	30000	0.1990	0.1731
0.0762	13.71	30400	0.2024	0.1690
0.0764	13.89	30800	0.2037	0.1709
0.0756	14.07	31200	0.2007	0.1716
0.0702	14.25	31600	0.2011	0.1680
0.0694	14.43	32000	0.2061	0.1683
0.0713	14.61	32400	0.2014	0.1687
0.0693	14.79	32800	0.1961	0.1658
0.071	14.98	33200	0.1921	0.1645
0.0659	15.16	33600	0.2079	0.1682
0.0659	15.34	34000	0.2046	0.1649
0.0685	15.52	34400	0.1994	0.1660
0.0663	15.7	34800	0.1970	0.1652
0.0678	15.88	35200	0.1961	0.1634
0.0644	16.06	35600	0.2141	0.1644
0.0596	16.24	36000	0.2098	0.1628
0.0629	16.42	36400	0.1969	0.1616
0.0598	16.6	36800	0.2026	0.1604
0.0628	16.78	37200	0.2050	0.1620
0.0616	16.96	37600	0.1958	0.1618
0.0538	17.14	38000	0.2093	0.1588
0.0573	17.32	38400	0.1995	0.1588
0.0555	17.5	38800	0.2077	0.1608
0.0555	17.68	39200	0.2036	0.1571
0.0578	17.86	39600	0.2045	0.1572
0.056	18.04	40000	0.2065	0.1593
0.0525	18.22	40400	0.2093	0.1580
0.0527	18.4	40800	0.2141	0.1585
0.0529	18.58	41200	0.2137	0.1585
0.0533	18.76	41600	0.2021	0.1558
0.0529	18.94	42000	0.2108	0.1535
0.05	19.12	42400	0.2114	0.1555
0.0479	19.31	42800	0.2091	0.1549
0.0509	19.49	43200	0.2145	0.1554
0.0486	19.67	43600	0.2061	0.1536
0.049	19.85	44000	0.2132	0.1548
0.0484	20.03	44400	0.2077	0.1523
0.0449	20.21	44800	0.2177	0.1529
0.0452	20.39	45200	0.2204	0.1517
0.0477	20.57	45600	0.2132	0.1517
0.048	20.75	46000	0.2119	0.1532
0.0469	20.93	46400	0.2109	0.1524
0.0439	21.11	46800	0.2118	0.1503
0.044	21.29	47200	0.2033	0.1474
0.0435	21.47	47600	0.2066	0.1485
0.0418	21.65	48000	0.2125	0.1491
0.0417	21.83	48400	0.2139	0.1487
0.0446	22.01	48800	0.2054	0.1493
0.039	22.19	49200	0.2179	0.1459
0.0414	22.37	49600	0.2118	0.1466
0.0394	22.55	50000	0.2104	0.1444
0.0381	22.73	50400	0.2095	0.1458
0.0382	22.91	50800	0.2193	0.1471
0.0391	23.09	51200	0.2143	0.1455
0.0365	23.27	51600	0.2198	0.1445
0.0368	23.46	52000	0.2151	0.1444
0.038	23.64	52400	0.2094	0.1439
0.038	23.82	52800	0.2137	0.1422
0.0374	24.0	53200	0.2180	0.1425
0.0352	24.18	53600	0.2207	0.1422
0.0343	24.36	54000	0.2269	0.1445
0.0353	24.54	54400	0.2222	0.1438
0.0348	24.72	54800	0.2224	0.1413
0.0342	24.9	55200	0.2146	0.1401
0.0337	25.08	55600	0.2246	0.1408
0.0327	25.26	56000	0.2161	0.1401
0.0339	25.44	56400	0.2212	0.1402
0.0324	25.62	56800	0.2203	0.1394
0.0319	25.8	57200	0.2145	0.1376
0.0317	25.98	57600	0.2147	0.1375
0.0302	26.16	58000	0.2213	0.1362
0.0309	26.34	58400	0.2218	0.1365
0.0308	26.52	58800	0.2167	0.1362
0.0294	26.7	59200	0.2169	0.1368
0.0297	26.88	59600	0.2163	0.1350
0.0289	27.06	60000	0.2188	0.1348
0.0284	27.24	60400	0.2172	0.1338
0.0278	27.42	60800	0.2230	0.1342
0.0283	27.6	61200	0.2233	0.1342
0.0292	27.79	61600	0.2238	0.1335
0.0286	27.97	62000	0.2218	0.1327
0.0262	28.15	62400	0.2220	0.1324
0.0274	28.33	62800	0.2182	0.1323
0.0279	28.51	63200	0.2170	0.1314
0.0269	28.69	63600	0.2228	0.1313
0.0264	28.87	64000	0.2209	0.1313
0.0254	29.05	64400	0.2224	0.1304
0.026	29.23	64800	0.2220	0.1302
0.0253	29.41	65200	0.2229	0.1304
0.0244	29.59	65600	0.2217	0.1298
0.025	29.77	66000	0.2223	0.1303
0.0255	29.95	66400	0.2220	0.1301

Framework versions

• Transformers 4.11.3
• Pytorch 1.9.1+cu102
• Datasets 1.18.3
• Tokenizers 0.10.3