w2v-bert-2.0-zulu-nchlt

This model is a fine-tuned version of facebook/w2v-bert-2.0 on the NCHLT Dataset of Zulu Language phoen calls. It achieves the following results on the evaluation set:

• Loss: 0.1494
• Wer: 0.1008

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 32
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 10
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
2.2571	0.2293	300	0.3025	0.3412
0.2601	0.4585	600	0.2271	0.2810
0.2078	0.6878	900	0.1966	0.2427
0.1806	0.9171	1200	0.1627	0.2067
0.159	1.1464	1500	0.1538	0.1956
0.1447	1.3756	1800	0.1408	0.1812
0.1365	1.6049	2100	0.1462	0.1733
0.1312	1.8342	2400	0.1376	0.1660
0.1221	2.0634	2700	0.1260	0.1611
0.1037	2.2927	3000	0.1258	0.1558
0.1023	2.5220	3300	0.1136	0.1499
0.1017	2.7512	3600	0.1106	0.1405
0.0999	2.9805	3900	0.1153	0.1454
0.0818	3.2098	4200	0.1180	0.1381
0.08	3.4391	4500	0.1098	0.1340
0.0791	3.6683	4800	0.1086	0.1340
0.0787	3.8976	5100	0.1069	0.1308
0.0694	4.1269	5400	0.1040	0.1305
0.0629	4.3561	5700	0.1053	0.1311
0.0642	4.5854	6000	0.1064	0.1312
0.0593	4.8147	6300	0.1008	0.1233
0.0599	5.0439	6600	0.0974	0.1204
0.0438	5.2732	6900	0.1009	0.1168
0.0465	5.5025	7200	0.0959	0.1168
0.0486	5.7318	7500	0.1019	0.1175
0.0474	5.9610	7800	0.0973	0.1123
0.0338	6.1903	8100	0.1011	0.1140
0.032	6.4196	8400	0.1165	0.1131
0.0324	6.6488	8700	0.1062	0.1132
0.0303	6.8781	9000	0.1032	0.1132
0.0265	7.1074	9300	0.1233	0.1097
0.0204	7.3366	9600	0.1147	0.1134
0.0193	7.5659	9900	0.1152	0.1055
0.0192	7.7952	10200	0.1122	0.1067
0.0176	8.0245	10500	0.1241	0.1067
0.0098	8.2537	10800	0.1188	0.1061
0.0089	8.4861	11100	0.1304	0.1021
0.0079	8.7153	11400	0.1346	0.1008
0.0075	8.9446	11700	0.1361	0.1034
0.0055	9.1739	12000	0.1472	0.1047
0.0046	9.4031	12300	0.1467	0.1008
0.0047	9.6324	12600	0.1472	0.1016
0.0045	9.8617	12900	0.1494	0.1008

Framework versions

• Transformers 4.46.2
• Pytorch 2.4.1+cu121
• Datasets 2.18.0
• Tokenizers 0.20.0