ylacombe's picture
ylacombe HF staff
End of training
2faf992 verified
---
language:
- en
license: mit
base_model: ylacombe/wav2vec2-bert-CV16-en-libri
tags:
- automatic-speech-recognition
- mozilla-foundation/common_voice_16_0
- generated_from_trainer
metrics:
- wer
model-index:
- name: wav2vec2-bert-CV16-en-libri-cv
results: []
---
<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->
# wav2vec2-bert-CV16-en-libri-cv
This model is a fine-tuned version of [ylacombe/wav2vec2-bert-CV16-en-libri](https://huggingface.co/ylacombe/wav2vec2-bert-CV16-en-libri) on the MOZILLA-FOUNDATION/COMMON_VOICE_16_0 - EN dataset.
It achieves the following results on the evaluation set:
- Loss: 0.2168
- Wer: 0.1352
- Cer: 0.0525
## Model description
More information needed
## Intended uses & limitations
More information needed
## Training and evaluation data
More information needed
## Training procedure
### Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 3e-05
- train_batch_size: 12
- eval_batch_size: 12
- seed: 42
- distributed_type: multi-GPU
- num_devices: 3
- gradient_accumulation_steps: 3
- total_train_batch_size: 108
- total_eval_batch_size: 36
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- lr_scheduler_warmup_steps: 15000
- num_epochs: 5.0
- mixed_precision_training: Native AMP
### Training results
| Training Loss | Epoch | Step | Validation Loss | Wer | Cer |
|:-------------:|:-----:|:-----:|:---------------:|:------:|:------:|
| 0.3302 | 0.05 | 500 | 0.4543 | 0.2333 | 0.0889 |
| 0.2579 | 0.1 | 1000 | 0.4172 | 0.2213 | 0.0832 |
| 0.2527 | 0.15 | 1500 | 0.3999 | 0.2142 | 0.0799 |
| 0.269 | 0.2 | 2000 | 0.3763 | 0.2049 | 0.0768 |
| 0.229 | 0.24 | 2500 | 0.3629 | 0.2029 | 0.0753 |
| 0.2286 | 0.29 | 3000 | 0.3494 | 0.1972 | 0.0733 |
| 0.2422 | 0.34 | 3500 | 0.3365 | 0.1929 | 0.0720 |
| 0.1989 | 0.39 | 4000 | 0.3362 | 0.1900 | 0.0711 |
| 0.2036 | 0.44 | 4500 | 0.3282 | 0.1871 | 0.0696 |
| 0.198 | 0.49 | 5000 | 0.3156 | 0.1803 | 0.0677 |
| 0.1757 | 0.54 | 5500 | 0.3069 | 0.1797 | 0.0682 |
| 0.1966 | 0.59 | 6000 | 0.2984 | 0.1786 | 0.0663 |
| 0.1924 | 0.64 | 6500 | 0.3014 | 0.1795 | 0.0676 |
| 0.19 | 0.68 | 7000 | 0.3059 | 0.1741 | 0.0656 |
| 0.1723 | 0.73 | 7500 | 0.3036 | 0.1758 | 0.0673 |
| 0.1688 | 0.78 | 8000 | 0.2990 | 0.1749 | 0.0670 |
| 0.1776 | 0.83 | 8500 | 0.2984 | 0.1742 | 0.0663 |
| 0.151 | 0.88 | 9000 | 0.3027 | 0.1707 | 0.0651 |
| 0.1609 | 0.93 | 9500 | 0.3001 | 0.1738 | 0.0667 |
| 0.1735 | 0.98 | 10000 | 0.3007 | 0.1748 | 0.0667 |
| 0.1355 | 1.03 | 10500 | 0.2953 | 0.1716 | 0.0665 |
| 0.1538 | 1.08 | 11000 | 0.2872 | 0.1733 | 0.0672 |
| 0.1448 | 1.12 | 11500 | 0.2927 | 0.1695 | 0.0657 |
| 0.1686 | 1.17 | 12000 | 0.2864 | 0.1731 | 0.0673 |
| 0.1506 | 1.22 | 12500 | 0.2891 | 0.1734 | 0.0667 |
| 0.1621 | 1.27 | 13000 | 0.2837 | 0.1722 | 0.0669 |
| 0.1573 | 1.32 | 13500 | 0.2792 | 0.1728 | 0.0660 |
| 0.1566 | 1.37 | 14000 | 0.2747 | 0.1702 | 0.0661 |
| 0.1528 | 1.42 | 14500 | 0.2781 | 0.1754 | 0.0673 |
| 0.153 | 1.47 | 15000 | 0.2900 | 0.1788 | 0.0692 |
| 0.1575 | 1.52 | 15500 | 0.2713 | 0.1758 | 0.0670 |
| 0.1543 | 1.56 | 16000 | 0.2846 | 0.1728 | 0.0666 |
| 0.1354 | 1.61 | 16500 | 0.2781 | 0.1696 | 0.0657 |
| 0.1246 | 1.66 | 17000 | 0.2941 | 0.1729 | 0.0674 |
| 0.1538 | 1.71 | 17500 | 0.2803 | 0.1707 | 0.0662 |
| 0.143 | 1.76 | 18000 | 0.2705 | 0.1669 | 0.0650 |
| 0.1505 | 1.81 | 18500 | 0.2632 | 0.1687 | 0.0653 |
| 0.1415 | 1.86 | 19000 | 0.2623 | 0.1651 | 0.0636 |
| 0.1402 | 1.91 | 19500 | 0.2607 | 0.1668 | 0.0647 |
| 0.1354 | 1.96 | 20000 | 0.2649 | 0.1643 | 0.0635 |
| 0.1234 | 2.0 | 20500 | 0.2684 | 0.1616 | 0.0636 |
| 0.129 | 2.05 | 21000 | 0.2589 | 0.1595 | 0.0624 |
| 0.1198 | 2.1 | 21500 | 0.2629 | 0.1629 | 0.0631 |
| 0.1083 | 2.15 | 22000 | 0.2608 | 0.1604 | 0.0627 |
| 0.1446 | 2.2 | 22500 | 0.2598 | 0.1614 | 0.0629 |
| 0.1315 | 2.25 | 23000 | 0.2681 | 0.1640 | 0.0643 |
| 0.1218 | 2.3 | 23500 | 0.2616 | 0.1607 | 0.0639 |
| 0.1167 | 2.35 | 24000 | 0.2732 | 0.1599 | 0.0627 |
| 0.1009 | 2.4 | 24500 | 0.2566 | 0.1600 | 0.0627 |
| 0.1133 | 2.44 | 25000 | 0.2533 | 0.1566 | 0.0614 |
| 0.1135 | 2.49 | 25500 | 0.2470 | 0.1561 | 0.0606 |
| 0.1042 | 2.54 | 26000 | 0.2508 | 0.1546 | 0.0604 |
| 0.1238 | 2.59 | 26500 | 0.2568 | 0.1565 | 0.0616 |
| 0.1178 | 2.64 | 27000 | 0.2564 | 0.1574 | 0.0615 |
| 0.1207 | 2.69 | 27500 | 0.2456 | 0.1552 | 0.0605 |
| 0.1112 | 2.74 | 28000 | 0.2434 | 0.1516 | 0.0595 |
| 0.1097 | 2.79 | 28500 | 0.2467 | 0.1550 | 0.0605 |
| 0.1253 | 2.84 | 29000 | 0.2428 | 0.1541 | 0.0600 |
| 0.1172 | 2.88 | 29500 | 0.2399 | 0.1513 | 0.0592 |
| 0.12 | 2.93 | 30000 | 0.2393 | 0.1518 | 0.0589 |
| 0.0976 | 2.98 | 30500 | 0.2442 | 0.1520 | 0.0596 |
| 0.1422 | 3.03 | 31000 | 0.2398 | 0.1503 | 0.0588 |
| 0.1285 | 3.08 | 31500 | 0.2446 | 0.1518 | 0.0591 |
| 0.122 | 3.13 | 32000 | 0.2401 | 0.1503 | 0.0587 |
| 0.1132 | 3.18 | 32500 | 0.2437 | 0.1514 | 0.0591 |
| 0.1275 | 3.23 | 33000 | 0.2466 | 0.1485 | 0.0584 |
| 0.1299 | 3.28 | 33500 | 0.2380 | 0.1463 | 0.0571 |
| 0.1129 | 3.32 | 34000 | 0.2416 | 0.1472 | 0.0576 |
| 0.1367 | 3.37 | 34500 | 0.2418 | 0.1479 | 0.0581 |
| 0.1166 | 3.42 | 35000 | 0.2418 | 0.1458 | 0.0573 |
| 0.1264 | 3.47 | 35500 | 0.2349 | 0.1449 | 0.0569 |
| 0.1325 | 3.52 | 36000 | 0.2332 | 0.1458 | 0.0567 |
| 0.1208 | 3.57 | 36500 | 0.2372 | 0.1469 | 0.0578 |
| 0.1309 | 3.62 | 37000 | 0.2354 | 0.1455 | 0.0570 |
| 0.1303 | 3.67 | 37500 | 0.2281 | 0.1435 | 0.0559 |
| 0.1193 | 3.72 | 38000 | 0.2306 | 0.1438 | 0.0563 |
| 0.1148 | 3.76 | 38500 | 0.2259 | 0.1439 | 0.0558 |
| 0.1066 | 3.81 | 39000 | 0.2293 | 0.1421 | 0.0558 |
| 0.0899 | 3.86 | 39500 | 0.2266 | 0.1408 | 0.0552 |
| 0.123 | 3.91 | 40000 | 0.2254 | 0.1419 | 0.0555 |
| 0.1162 | 3.96 | 40500 | 0.2251 | 0.1422 | 0.0557 |
| 0.0856 | 4.01 | 41000 | 0.2253 | 0.1401 | 0.0549 |
| 0.0983 | 4.06 | 41500 | 0.2258 | 0.1389 | 0.0547 |
| 0.0893 | 4.11 | 42000 | 0.2260 | 0.1406 | 0.0547 |
| 0.0892 | 4.16 | 42500 | 0.2272 | 0.1391 | 0.0544 |
| 0.0761 | 4.2 | 43000 | 0.2301 | 0.1396 | 0.0547 |
| 0.0931 | 4.25 | 43500 | 0.2259 | 0.1377 | 0.0538 |
| 0.081 | 4.3 | 44000 | 0.2221 | 0.1389 | 0.0540 |
| 0.0878 | 4.35 | 44500 | 0.2232 | 0.1383 | 0.0538 |
| 0.0837 | 4.4 | 45000 | 0.2258 | 0.1381 | 0.0540 |
| 0.0917 | 4.45 | 45500 | 0.2211 | 0.1371 | 0.0535 |
| 0.0736 | 4.5 | 46000 | 0.2226 | 0.1364 | 0.0534 |
| 0.0728 | 4.55 | 46500 | 0.2218 | 0.1358 | 0.0531 |
| 0.0824 | 4.6 | 47000 | 0.2205 | 0.1365 | 0.0533 |
| 0.0794 | 4.64 | 47500 | 0.2198 | 0.1359 | 0.0529 |
| 0.0823 | 4.69 | 48000 | 0.2199 | 0.1354 | 0.0527 |
| 0.0849 | 4.74 | 48500 | 0.2176 | 0.1348 | 0.0525 |
| 0.095 | 4.79 | 49000 | 0.2185 | 0.1354 | 0.0529 |
| 0.0951 | 4.84 | 49500 | 0.2163 | 0.1354 | 0.0527 |
| 0.0902 | 4.89 | 50000 | 0.2163 | 0.1350 | 0.0525 |
| 0.066 | 4.94 | 50500 | 0.2167 | 0.1350 | 0.0525 |
| 0.0776 | 4.99 | 51000 | 0.2169 | 0.1351 | 0.0524 |
### Framework versions
- Transformers 4.37.0.dev0
- Pytorch 2.1.0+cu121
- Datasets 2.16.1
- Tokenizers 0.15.0