hongseongpil/Wav2Vec2.0_zeroth_Ko

wav2vec2-zeroth_Ko

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on an zeroth dataset.

Dataset

zeroth : https://github.com/goodatlas/zeroth

음운 변동을 적용한 발음 문장으로 전처리하여 학습

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 1
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 2
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 1
• mixed_precision_training: Native AMP

Framework versions

• Transformers 4.39.3
• Pytorch 2.2.1+cu121
• Datasets 2.18.0
• Tokenizers 0.15.2

Current Version

| 24500 | 0.075 | 0.166 | 0.0512 |

Training Result

Step	Training Loss	Validation Loss	Cer
500	4.139	2.474	0.8404
1000	0.865	0.828	0.2677
1500	0.521	0.517	0.1510
2000	0.423	0.411	0.1345
2500	0.382	0.374	0.1258
3000	0.336	0.325	0.1090
3500	0.297	0.307	0.1012
4000	0.287	0.284	0.0932
4500	0.269	0.262	0.0974
5000	0.257	0.260	0.0891
5500	0.246	0.243	0.0840
6000	0.210	0.235	0.0783
6500	0.199	0.244	0.0784
7000	0.195	0.221	0.0762
7500	0.192	0.217	0.0732
8000	0.185	0.220	0.0727
8500	0.172	0.229	0.0715
9000	0.152	0.205	0.0710
9500	0.153	0.214	0.0735
10000	0.151	0.206	0.0688
10500	0.147	0.200	0.0689
11000	0.148	0.195	0.0695
11500	0.134	0.194	0.0696
12000	0.124	0.191	0.0679
12500	0.128	0.186	0.0637
13000	0.126	0.183	0.0610
13500	0.122	0.183	0.0630
14000	0.122	0.189	0.0644
14500	0.106	0.189	0.0630
15000	0.108	0.185	0.0605
15500	0.107	0.188	0.0601
16000	0.108	0.183	0.0594
16500	0.108	0.185	0.0632
17000	0.098	0.181	0.0584
17500	0.093	0.182	0.0641
18000	0.093	0.189	0.0664
18500	0.098	0.176	0.0650
19000	0.095	0.192	0.0660
19500	0.097	0.176	0.0588
20000	0.083	0.187	0.0590
20500	0.084	0.175	0.0576
21000	0.083	0.174	0.0536
21500	0.083	0.171	0.0556
22000	0.086	0.172	0.0532
22500	0.082	0.174	0.0527
23000	0.077	0.177	0.0485
23500	0.074	0.178	0.0524
24000	0.078	0.177	0.0557
24500	0.075	0.166	0.0512
25000	0.078	0.182	0.0512
25500	0.069	0.177	0.0535
26000	0.071	0.183	0.0528
26500	0.068	0.186	0.0533
27000	0.070	0.183	0.0543
27500	0.069	0.183	0.0539
28000	0.069	0.170	0.0512
28500	0.060	0.175	0.0505
29000	0.065	0.176	0.0540
29500	0.066	0.172	0.0537
30000	0.064	0.169	0.0506
30500	0.062	0.165	0.0523
31000	0.057	0.172	0.0503
31500	0.057	0.171	0.0507
32000	0.059	0.174	0.0527