sarpba/whisper-hu-large-v3-turbo-finetuned

fontos információ, mielött használnád, tesztelnéd

Sajnos úgy tűnik, hogy a Ct2 kvantálás során valami elvész, elromlik a modellben, szinte használhatatlanná válik, az max output tokenek száma drasztikusan leesik, nagyon csonkolja a mondatokat. Még nem tudom hol a határ időben, token számban ahol eklezd csonkolni, de max 10 sec körül vagy inkább alatta. Natív F32-ben szépen dolgozik ahogy a teszteredmények is mutatják, így viszont elveszti a sebességét, ami az értelme lenne. Lehet újra indítom a finomhangolást nativan Float16-on, hogy lássam azzal a modellel mi történik a kvantálás során. (Az original modell is Float16-ban van)

whisper-large-v3-turbo-finetuned-hu

This model is a fine-tuned version of openai/whisper-large-v3-turbo on the custom dataset. It achieves the following results on the evaluation set:

• Loss: 0.0287
• Wer: 0.0748

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 1e-05
• train_batch_size: 16
• eval_batch_size: 16
• seed: 42
• distributed_type: multi-GPU
• num_devices: 2
• total_train_batch_size: 32
• total_eval_batch_size: 32
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 2
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
0.0574	0.1176	2000	0.0581	0.1432
0.0495	0.2352	4000	0.0517	0.1283
0.0474	0.3528	6000	0.0479	0.1184
0.0454	0.4704	8000	0.0440	0.1107
0.0409	0.5880	10000	0.0416	0.1024
0.0402	0.7056	12000	0.0419	0.1045
0.0377	0.8231	14000	0.0387	0.0941
0.0377	0.9407	16000	0.0371	0.0950
0.0253	1.0583	18000	0.0360	0.0899
0.0244	1.1759	20000	0.0352	0.0884
0.0238	1.2935	22000	0.0342	0.0884
0.023	1.4111	24000	0.0329	0.0851
0.0224	1.5287	26000	0.0320	0.0819
0.0212	1.6463	28000	0.0310	0.0805
0.0196	1.7639	30000	0.0301	0.0778
0.0189	1.8815	32000	0.0292	0.0762
0.0193	1.9991	34000	0.0287	0.0748

Framework versions

• Transformers 4.47.0
• Pytorch 2.5.1+cu118
• Datasets 3.1.0
• Tokenizers 0.21.0