Wav2Vec2-xls-r-300m-36-tokens-with-lm-es

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the common_voice dataset. It achieves the following results on the evaluation set:

  • Wer: 0.0868
  • Cer: 0.0281

This model consists of a Wav2Vec2 model with an additional KenLM 5-gram language model for CTC decoding.
The model is trained removing all characters that are not lower-case unaccented letters between a-z or the Spanish accented vowels á, é, í, ó, ú or the dieresis on the vowel u - ü.

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0003
  • train_batch_size: 16
  • eval_batch_size: 8
  • seed: 42
  • gradient_accumulation_steps: 2
  • total_train_batch_size: 32
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 500
  • num_epochs: 30
  • mixed_precision_training: Native AMP

Training results

Training Loss Epoch Step Validation Loss Wer
3.6512 0.07 400 0.5734 0.4325
0.4404 0.14 800 0.3329 0.3021
0.3465 0.22 1200 0.3067 0.2871
0.3214 0.29 1600 0.2808 0.2694
0.319 0.36 2000 0.2755 0.2677
0.3015 0.43 2400 0.2667 0.2437
0.3102 0.51 2800 0.2679 0.2475
0.2955 0.58 3200 0.2591 0.2421
0.292 0.65 3600 0.2547 0.2404
0.2961 0.72 4000 0.2824 0.2716
0.2906 0.8 4400 0.2531 0.2321
0.2886 0.87 4800 0.2668 0.2573
0.2934 0.94 5200 0.2608 0.2454
0.2844 1.01 5600 0.2414 0.2233
0.2649 1.09 6000 0.2412 0.2198
0.2587 1.16 6400 0.2432 0.2211
0.2631 1.23 6800 0.2414 0.2225
0.2584 1.3 7200 0.2489 0.2290
0.2588 1.37 7600 0.2341 0.2156
0.2581 1.45 8000 0.2323 0.2155
0.2603 1.52 8400 0.2423 0.2231
0.2527 1.59 8800 0.2381 0.2192
0.2588 1.66 9200 0.2323 0.2176
0.2543 1.74 9600 0.2391 0.2151
0.2528 1.81 10000 0.2295 0.2091
0.2535 1.88 10400 0.2317 0.2099
0.2501 1.95 10800 0.2225 0.2105
0.2441 2.03 11200 0.2356 0.2180
0.2275 2.1 11600 0.2341 0.2115
0.2281 2.17 12000 0.2269 0.2117
0.227 2.24 12400 0.2367 0.2125
0.2471 2.32 12800 0.2307 0.2090
0.229 2.39 13200 0.2231 0.2005
0.2325 2.46 13600 0.2243 0.2100
0.2314 2.53 14000 0.2252 0.2098
0.2309 2.6 14400 0.2269 0.2089
0.2267 2.68 14800 0.2155 0.1976
0.225 2.75 15200 0.2263 0.2067
0.2309 2.82 15600 0.2196 0.2041
0.225 2.89 16000 0.2212 0.2052
0.228 2.97 16400 0.2192 0.2028
0.2136 3.04 16800 0.2169 0.2042
0.2038 3.11 17200 0.2173 0.1998
0.2035 3.18 17600 0.2185 0.2002
0.207 3.26 18000 0.2358 0.2120
0.2102 3.33 18400 0.2213 0.2019
0.211 3.4 18800 0.2176 0.1980
0.2099 3.47 19200 0.2186 0.1960
0.2093 3.55 19600 0.2208 0.2016
0.2046 3.62 20000 0.2138 0.1960
0.2095 3.69 20400 0.2222 0.2023
0.2106 3.76 20800 0.2159 0.1964
0.2066 3.83 21200 0.2083 0.1931
0.2119 3.91 21600 0.2130 0.1957
0.2167 3.98 22000 0.2210 0.1987
0.1973 4.05 22400 0.2112 0.1930
0.1917 4.12 22800 0.2107 0.1891
0.1903 4.2 23200 0.2132 0.1911
0.1903 4.27 23600 0.2077 0.1883
0.1914 4.34 24000 0.2054 0.1901
0.1943 4.41 24400 0.2059 0.1885
0.1943 4.49 24800 0.2095 0.1899
0.1936 4.56 25200 0.2078 0.1879
0.1963 4.63 25600 0.2018 0.1884
0.1934 4.7 26000 0.2034 0.1872
0.2011 4.78 26400 0.2051 0.1896
0.1901 4.85 26800 0.2059 0.1858
0.1934 4.92 27200 0.2028 0.1832
0.191 4.99 27600 0.2046 0.1870
0.1775 5.07 28000 0.2081 0.1891
0.175 5.14 28400 0.2084 0.1904
0.19 5.21 28800 0.2086 0.1920
0.1798 5.28 29200 0.2079 0.1935
0.1765 5.35 29600 0.2145 0.1930
0.181 5.43 30000 0.2062 0.1918
0.1808 5.5 30400 0.2083 0.1875
0.1769 5.57 30800 0.2117 0.1895
0.1788 5.64 31200 0.2055 0.1857
0.181 5.72 31600 0.2057 0.1870
0.1781 5.79 32000 0.2053 0.1872
0.1852 5.86 32400 0.2077 0.1904
0.1832 5.93 32800 0.1979 0.1821
0.1758 6.01 33200 0.1957 0.1754
0.1611 6.08 33600 0.2028 0.1773
0.1606 6.15 34000 0.2018 0.1780
0.1702 6.22 34400 0.1977 0.1759
0.1649 6.3 34800 0.2073 0.1845
0.1641 6.37 35200 0.1947 0.1774
0.1703 6.44 35600 0.2009 0.1811
0.1716 6.51 36000 0.2091 0.1817
0.1732 6.58 36400 0.1942 0.1743
0.1642 6.66 36800 0.1930 0.1749
0.1685 6.73 37200 0.1962 0.1716
0.1647 6.8 37600 0.1977 0.1822
0.1647 6.87 38000 0.1917 0.1748
0.1667 6.95 38400 0.1948 0.1774
0.1647 7.02 38800 0.2018 0.1783
0.15 7.09 39200 0.2010 0.1796
0.1663 7.16 39600 0.1969 0.1731
0.1536 7.24 40000 0.1935 0.1726
0.1544 7.31 40400 0.2030 0.1799
0.1536 7.38 40800 0.1973 0.1772
0.1559 7.45 41200 0.1973 0.1763
0.1547 7.53 41600 0.2052 0.1782
0.1584 7.6 42000 0.1965 0.1737
0.1542 7.67 42400 0.1878 0.1725
0.1525 7.74 42800 0.1946 0.1750
0.1547 7.81 43200 0.1934 0.1691
0.1534 7.89 43600 0.1919 0.1711
0.1574 7.96 44000 0.1935 0.1745
0.1471 8.03 44400 0.1915 0.1689
0.1433 8.1 44800 0.1956 0.1719
0.1433 8.18 45200 0.1980 0.1720
0.1424 8.25 45600 0.1906 0.1681
0.1428 8.32 46000 0.1892 0.1649
0.1424 8.39 46400 0.1916 0.1698
0.1466 8.47 46800 0.1970 0.1739
0.1496 8.54 47200 0.1902 0.1662
0.1408 8.61 47600 0.1858 0.1649
0.1445 8.68 48000 0.1893 0.1648
0.1459 8.76 48400 0.1875 0.1686
0.1433 8.83 48800 0.1920 0.1673
0.1448 8.9 49200 0.1833 0.1631
0.1461 8.97 49600 0.1904 0.1693
0.1451 9.04 50000 0.1969 0.1661
0.1336 9.12 50400 0.1950 0.1674
0.1362 9.19 50800 0.1971 0.1685
0.1316 9.26 51200 0.1928 0.1648
0.132 9.33 51600 0.1908 0.1615
0.1301 9.41 52000 0.1842 0.1569
0.1322 9.48 52400 0.1892 0.1616
0.1391 9.55 52800 0.1956 0.1656
0.132 9.62 53200 0.1876 0.1598
0.1349 9.7 53600 0.1870 0.1624
0.1325 9.77 54000 0.1834 0.1586
0.1389 9.84 54400 0.1892 0.1647
0.1364 9.91 54800 0.1840 0.1597
0.1339 9.99 55200 0.1858 0.1626
0.1269 10.06 55600 0.1875 0.1619
0.1229 10.13 56000 0.1909 0.1619
0.1258 10.2 56400 0.1933 0.1631
0.1256 10.27 56800 0.1930 0.1640
0.1207 10.35 57200 0.1823 0.1585
0.1248 10.42 57600 0.1889 0.1596
0.1264 10.49 58000 0.1845 0.1584
0.1251 10.56 58400 0.1869 0.1588
0.1251 10.64 58800 0.1885 0.1613
0.1276 10.71 59200 0.1855 0.1575
0.1303 10.78 59600 0.1836 0.1597
0.1246 10.85 60000 0.1810 0.1573
0.1283 10.93 60400 0.1830 0.1581
0.1273 11.0 60800 0.1837 0.1619
0.1202 11.07 61200 0.1865 0.1588
0.119 11.14 61600 0.1889 0.1580
0.1179 11.22 62000 0.1884 0.1592
0.1187 11.29 62400 0.1824 0.1565
0.1198 11.36 62800 0.1848 0.1552
0.1154 11.43 63200 0.1866 0.1565
0.1211 11.51 63600 0.1862 0.1563
0.1177 11.58 64000 0.1816 0.1527
0.1156 11.65 64400 0.1834 0.1540
0.1144 11.72 64800 0.1837 0.1524
0.119 11.79 65200 0.1859 0.1538
0.1183 11.87 65600 0.1869 0.1558
0.122 11.94 66000 0.1853 0.1535
0.1197 12.01 66400 0.1871 0.1586
0.1096 12.08 66800 0.1838 0.1540
0.1074 12.16 67200 0.1915 0.1592
0.1084 12.23 67600 0.1845 0.1545
0.1097 12.3 68000 0.1904 0.1552
0.112 12.37 68400 0.1846 0.1578
0.1109 12.45 68800 0.1862 0.1549
0.1114 12.52 69200 0.1889 0.1552
0.1119 12.59 69600 0.1828 0.1530
0.1124 12.66 70000 0.1822 0.1540
0.1127 12.74 70400 0.1865 0.1589
0.1128 12.81 70800 0.1786 0.1498
0.1069 12.88 71200 0.1813 0.1522
0.1069 12.95 71600 0.1895 0.1558
0.1083 13.02 72000 0.1925 0.1557
0.1009 13.1 72400 0.1883 0.1522
0.1007 13.17 72800 0.1829 0.1480
0.1014 13.24 73200 0.1861 0.1510
0.0974 13.31 73600 0.1836 0.1486
0.1006 13.39 74000 0.1821 0.1462
0.0973 13.46 74400 0.1857 0.1484
0.1011 13.53 74800 0.1822 0.1471
0.1031 13.6 75200 0.1823 0.1489
0.1034 13.68 75600 0.1809 0.1452
0.0998 13.75 76000 0.1817 0.1490
0.1071 13.82 76400 0.1808 0.1501
0.1083 13.89 76800 0.1796 0.1475
0.1053 13.97 77200 0.1785 0.1470
0.0978 14.04 77600 0.1886 0.1495
0.094 14.11 78000 0.1854 0.1489
0.0915 14.18 78400 0.1854 0.1498
0.0947 14.25 78800 0.1888 0.1500
0.0939 14.33 79200 0.1885 0.1494
0.0973 14.4 79600 0.1877 0.1466
0.0946 14.47 80000 0.1904 0.1494
0.0931 14.54 80400 0.1815 0.1473
0.0958 14.62 80800 0.1905 0.1508
0.0982 14.69 81200 0.1881 0.1511
0.0963 14.76 81600 0.1823 0.1449
0.0943 14.83 82000 0.1782 0.1458
0.0981 14.91 82400 0.1795 0.1465
0.0995 14.98 82800 0.1811 0.1484
0.0909 15.05 83200 0.1822 0.1450
0.0872 15.12 83600 0.1890 0.1466
0.0878 15.2 84000 0.1859 0.1468
0.0884 15.27 84400 0.1825 0.1429
0.0871 15.34 84800 0.1816 0.1438
0.0883 15.41 85200 0.1817 0.1433
0.0844 15.48 85600 0.1821 0.1412
0.0843 15.56 86000 0.1863 0.1411
0.0805 15.63 86400 0.1863 0.1441
0.085 15.7 86800 0.1808 0.1440
0.0848 15.77 87200 0.1808 0.1421
0.0844 15.85 87600 0.1841 0.1406
0.082 15.92 88000 0.1850 0.1442
0.0854 15.99 88400 0.1773 0.1426
0.0835 16.06 88800 0.1888 0.1436
0.0789 16.14 89200 0.1922 0.1434
0.081 16.21 89600 0.1864 0.1448
0.0799 16.28 90000 0.1902 0.1428
0.0848 16.35 90400 0.1873 0.1422
0.084 16.43 90800 0.1835 0.1421
0.083 16.5 91200 0.1878 0.1390
0.0794 16.57 91600 0.1877 0.1398
0.0807 16.64 92000 0.1800 0.1385
0.0829 16.71 92400 0.1910 0.1434
0.0839 16.79 92800 0.1843 0.1381
0.0815 16.86 93200 0.1812 0.1365
0.0831 16.93 93600 0.1889 0.1383
0.0803 17.0 94000 0.1902 0.1403
0.0724 17.08 94400 0.1934 0.1380
0.0734 17.15 94800 0.1865 0.1394
0.0739 17.22 95200 0.1876 0.1395
0.0758 17.29 95600 0.1938 0.1411
0.0733 17.37 96000 0.1933 0.1410
0.077 17.44 96400 0.1848 0.1385
0.0754 17.51 96800 0.1876 0.1407
0.0746 17.58 97200 0.1863 0.1371
0.0732 17.66 97600 0.1927 0.1401
0.0746 17.73 98000 0.1874 0.1390
0.0755 17.8 98400 0.1853 0.1381
0.0724 17.87 98800 0.1849 0.1365
0.0716 17.94 99200 0.1848 0.1380
0.074 18.02 99600 0.1891 0.1362
0.0687 18.09 100000 0.1974 0.1357
0.0651 18.16 100400 0.1942 0.1353
0.0672 18.23 100800 0.1823 0.1363
0.0671 18.31 101200 0.1959 0.1357
0.0684 18.38 101600 0.1959 0.1374
0.0688 18.45 102000 0.1904 0.1353
0.0696 18.52 102400 0.1926 0.1364
0.0661 18.6 102800 0.1905 0.1351
0.0684 18.67 103200 0.1955 0.1343
0.0712 18.74 103600 0.1873 0.1353
0.0701 18.81 104000 0.1822 0.1354
0.0688 18.89 104400 0.1905 0.1373
0.0695 18.96 104800 0.1879 0.1335
0.0661 19.03 105200 0.2005 0.1351
0.0644 19.1 105600 0.1972 0.1351
0.0627 19.18 106000 0.1956 0.1340
0.0633 19.25 106400 0.1962 0.1340
0.0629 19.32 106800 0.1937 0.1342
0.0636 19.39 107200 0.1905 0.1355
0.0631 19.46 107600 0.1917 0.1326
0.0624 19.54 108000 0.1977 0.1355
0.0621 19.61 108400 0.1941 0.1345
0.0635 19.68 108800 0.1949 0.1336
0.063 19.75 109200 0.1919 0.1317
0.0636 19.83 109600 0.1928 0.1317
0.0612 19.9 110000 0.1923 0.1314
0.0636 19.97 110400 0.1923 0.1343
0.0581 20.04 110800 0.2036 0.1332
0.0573 20.12 111200 0.2007 0.1315
0.0566 20.19 111600 0.1974 0.1319
0.0589 20.26 112000 0.1958 0.1322
0.0577 20.33 112400 0.1946 0.1307
0.0587 20.41 112800 0.1957 0.1295
0.0588 20.48 113200 0.2013 0.1306
0.0594 20.55 113600 0.2010 0.1312
0.0602 20.62 114000 0.1993 0.1314
0.0583 20.69 114400 0.1931 0.1297
0.059 20.77 114800 0.1974 0.1305
0.0566 20.84 115200 0.1979 0.1294
0.0588 20.91 115600 0.1944 0.1292
0.0569 20.98 116000 0.1974 0.1309
0.0554 21.06 116400 0.2080 0.1307
0.0542 21.13 116800 0.2056 0.1301
0.0532 21.2 117200 0.2027 0.1309
0.0535 21.27 117600 0.1970 0.1287
0.0533 21.35 118000 0.2124 0.1310
0.0546 21.42 118400 0.2043 0.1300
0.0544 21.49 118800 0.2056 0.1281
0.0562 21.56 119200 0.1986 0.1273
0.0549 21.64 119600 0.2075 0.1283
0.0522 21.71 120000 0.2058 0.1278
0.052 21.78 120400 0.2057 0.1280
0.0563 21.85 120800 0.1966 0.1295
0.0546 21.92 121200 0.2002 0.1285
0.0539 22.0 121600 0.1996 0.1279
0.0504 22.07 122000 0.2077 0.1273
0.0602 22.14 122400 0.2055 0.1278
0.0503 22.21 122800 0.2037 0.1283
0.0496 22.29 123200 0.2109 0.1279
0.0523 22.36 123600 0.2068 0.1276
0.0508 22.43 124000 0.2051 0.1257
0.0505 22.5 124400 0.2056 0.1269
0.05 22.58 124800 0.1995 0.1268
0.0496 22.65 125200 0.2022 0.1290
0.0484 22.72 125600 0.2095 0.1291
0.0518 22.79 126000 0.2132 0.1271
0.0499 22.87 126400 0.2124 0.1263
0.0485 22.94 126800 0.2092 0.1252
0.0476 23.01 127200 0.2138 0.1256
0.0467 23.08 127600 0.2119 0.1256
0.048 23.15 128000 0.2138 0.1269
0.0461 23.23 128400 0.2036 0.1244
0.0467 23.3 128800 0.2163 0.1255
0.0475 23.37 129200 0.2180 0.1258
0.0468 23.44 129600 0.2129 0.1245
0.0456 23.52 130000 0.2122 0.1250
0.0458 23.59 130400 0.2157 0.1257
0.0453 23.66 130800 0.2088 0.1242
0.045 23.73 131200 0.2144 0.1247
0.0469 23.81 131600 0.2113 0.1246
0.0453 23.88 132000 0.2151 0.1234
0.0471 23.95 132400 0.2130 0.1229
0.0443 24.02 132800 0.2150 0.1225
0.0446 24.1 133200 0.2166 0.1235
0.0435 24.17 133600 0.2143 0.1222
0.0407 24.24 134000 0.2175 0.1218
0.0421 24.31 134400 0.2147 0.1227
0.0435 24.38 134800 0.2193 0.1233
0.0414 24.46 135200 0.2172 0.1225
0.0419 24.53 135600 0.2156 0.1225
0.0419 24.6 136000 0.2143 0.1235
0.0423 24.67 136400 0.2179 0.1226
0.0423 24.75 136800 0.2144 0.1221
0.0424 24.82 137200 0.2135 0.1210
0.0419 24.89 137600 0.2166 0.1218
0.0408 24.96 138000 0.2151 0.1211
0.0433 25.04 138400 0.2174 0.1214
0.0395 25.11 138800 0.2242 0.1210
0.0403 25.18 139200 0.2219 0.1215
0.0413 25.25 139600 0.2225 0.1207
0.0389 25.33 140000 0.2187 0.1202
0.0395 25.4 140400 0.2244 0.1204
0.0398 25.47 140800 0.2263 0.1199
0.0386 25.54 141200 0.2165 0.1187
0.0396 25.61 141600 0.2171 0.1187
0.0406 25.69 142000 0.2199 0.1190
0.0404 25.76 142400 0.2224 0.1190
0.0391 25.83 142800 0.2230 0.1185
0.04 25.9 143200 0.2208 0.1200
0.0396 25.98 143600 0.2179 0.1191
0.0353 26.05 144000 0.2285 0.1178
0.0368 26.12 144400 0.2273 0.1186
0.0393 26.19 144800 0.2247 0.1196
0.0368 26.27 145200 0.2314 0.1181
0.0373 26.34 145600 0.2215 0.1188
0.038 26.41 146000 0.2262 0.1180
0.0363 26.48 146400 0.2250 0.1172
0.0365 26.56 146800 0.2299 0.1174
0.0382 26.63 147200 0.2292 0.1165
0.0365 26.7 147600 0.2282 0.1165
0.0371 26.77 148000 0.2276 0.1172
0.0365 26.85 148400 0.2280 0.1173
0.0376 26.92 148800 0.2248 0.1164
0.0365 26.99 149200 0.2230 0.1158
0.0343 27.06 149600 0.2300 0.1157
0.0354 27.13 150000 0.2298 0.1166
0.0333 27.21 150400 0.2307 0.1158
0.0353 27.28 150800 0.2300 0.1157
0.036 27.35 151200 0.2335 0.1160
0.0343 27.42 151600 0.2324 0.1155
0.0361 27.5 152000 0.2300 0.1150
0.0352 27.57 152400 0.2279 0.1146
0.0353 27.64 152800 0.2307 0.1149
0.0342 27.71 153200 0.2315 0.1152
0.0345 27.79 153600 0.2290 0.1146
0.034 27.86 154000 0.2319 0.1141
0.0347 27.93 154400 0.2312 0.1144
0.0338 28.0 154800 0.2328 0.1146
0.0347 28.08 155200 0.2352 0.1151
0.033 28.15 155600 0.2337 0.1142
0.0336 28.22 156000 0.2345 0.1141
0.0337 28.29 156400 0.2315 0.1143
0.0314 28.36 156800 0.2353 0.1140
0.0333 28.44 157200 0.2338 0.1146
0.0317 28.51 157600 0.2345 0.1139
0.0326 28.58 158000 0.2336 0.1143
0.033 28.65 158400 0.2352 0.1137
0.0325 28.73 158800 0.2312 0.1130
0.0321 28.8 159200 0.2338 0.1133
0.0334 28.87 159600 0.2335 0.1130
0.0317 28.94 160000 0.2340 0.1126
0.0321 29.02 160400 0.2349 0.1126
0.032 29.09 160800 0.2369 0.1127
0.0312 29.16 161200 0.2363 0.1124
0.0303 29.23 161600 0.2363 0.1123
0.0322 29.31 162000 0.2354 0.1124
0.03 29.38 162400 0.2360 0.1122
0.0299 29.45 162800 0.2378 0.1124
0.0313 29.52 163200 0.2377 0.1120
0.0299 29.59 163600 0.2367 0.1124
0.0313 29.67 164000 0.2380 0.1120
0.031 29.74 164400 0.2369 0.1120
0.0327 29.81 164800 0.2358 0.1117
0.0316 29.88 165200 0.2358 0.1118
0.0307 29.96 165600 0.2362 0.1118

Framework versions

  • Transformers 4.16.0.dev0
  • Pytorch 1.10.1+cu102
  • Datasets 1.17.1.dev0
  • Tokenizers 0.11.0
Downloads last month
10
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Dataset used to train edugp/wav2vec2-xls-r-300m-36-tokens-with-lm-es

Evaluation results