language: en
tags:
- text-classification
- roberta
- custom
datasets:
- google/jigsaw_toxicity_pred
base_model:
- FacebookAI/roberta-base
pipeline_tag: text-classification
Modèle finetuné de RoBERTa-base pour la détection de toxicité dans un texte
Le modèle a pour objectif de détecter la toxicité dans un texte en prédisant la probabilité d'appartenir à ces catégories attribuant un score pour chacune de ces catégories. Catégories: toxic, severe_toxic, obscene, threat, insult, identity_hate
Le finetuning a été fait pour 4 époques. La dataset utilisé est celui de Google appelé jigsaw_toxicity_pred.
Paramètres d'entraînement
training_args = TrainingArguments(
output_dir="./results",
evaluation_strategy="epoch",
save_strategy="epoch",
learning_rate=2e-5,
per_device_train_batch_size=16,
per_device_eval_batch_size=16,
num_train_epochs=5,
weight_decay=0.01,
save_total_limit=5,
logging_dir="./logs",
logging_steps=10,
load_best_model_at_end=True,
)
Erreur moyenne absolue par catégorie sur le dataset d'entraînement:
toxic: 0.0271 severe_toxic: 0.0128 obscene: 0.0185 threat: 0.0029 insult: 0.0250 identity_hate: 0.0081