Qwen-0.5B-MUSR

Ce modèle est une version fine-tunée de Qwen-0.5B optimisée pour le benchmark MUSR, atteignant :

  • Une amélioration de 40.52% de l'eval_loss par rapport à la baseline
  • Une accuracy de 87% sur les questions multi-sources
  • Une qualité de raisonnement parfaite (100%)
  • Une utilisation quasi-parfaite des sources (97.5%)

Performances

  • Accuracy: 0.87
  • Reasoning Quality: 1.0
  • Source Integration: 0.975
  • Eval Loss: 1.036

Cas d'utilisation

Particulièrement efficace pour :

  • Questions nécessitant l'intégration de multiples sources
  • Raisonnement complexe
  • Réponses explicatives détaillées

Configuration optimale :

  • max_length: 170
  • weight_decay: 0.1
  • warmup_ratio: 0.07
  • gradient_accumulation: 4
  • scheduler: polynomial
Downloads last month
20
Safetensors
Model size
494M params
Tensor type
BF16
·
Inference Examples
Unable to determine this model's library. Check the docs .

Model tree for MEscriva/ECE-PRYMMAL-0.5B-FT-V4-MUSR-Mathis

Quantizations
1 model

Dataset used to train MEscriva/ECE-PRYMMAL-0.5B-FT-V4-MUSR-Mathis

Evaluation results