datasets:
- batubayk/TR-News
- denizzhansahin/100K-TR-News
language:
- tr
base_model:
- google/mt5-base
pipeline_tag: summarization
library_name: transformers
tags:
- summarization
- transformers
metrics:
- bertscore
- rouge
mT5 Tabanlı Türkçe Haber Özetleme Modeli
Model Genel Bilgisi
Bu model, mT5 tabanlı olup, Türkçe haber metinlerini özetlemek amacıyla özel olarak ince ayar yapılmıştır. Google/mT5-base mimarisi üzerine inşa edilerek, Türkçe ekonomi ve güncel haber metinlerinden oluşan bir veri seti kullanılarak eğitilmiştir. Bu model, haber metinlerinin özetlerini üreterek, kullanıcılara haberin en önemli noktalarını sunmayı amaçlamaktadır.
Modelin Amacı
Bu modelin temel kullanım amacı, uzun Türkçe haber metinlerini kısa ve anlaşılır özetler haline getirmektir. Potansiyel kullanım alanları:
- Haber özetleme platformları
Kullanım Şekli
from transformers import MT5Tokenizer, MT5ForConditionalGeneration
# Model ve tokenizer'ı yükleyin
model_name = 'nebiberke/news-sum-tr'
tokenizer = MT5Tokenizer.from_pretrained(model_name)
model = MT5ForConditionalGeneration.from_pretrained(model_name)
# Haber metni için özet oluşturma
haber_metni = "Buraya Türkçe haber metni gelecek."
input_ids = tokenizer.encode(haber_metni, return_tensors="pt", max_length=512, truncation=True)
# Özet oluşturma
summary_ids = model.generate(input_ids, max_length=150, min_length=30, length_penalty=2.0, num_beams=7, early_stopping=True)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print("Özet:", summary)
Veri Seti
Bu model, batubayk/TR-News ve denizzhansahin/100K-TR-News adlı veri setlerinin birleştirilmesiyle oluşturulmuş veri seti üzerinde eğitilmiştir. Veri seti, Türkçe ekonomi ve güncel haber içerikleri içermekte olup, her haber metni bir özetle eşleştirilmiştir. Eğitim için kullanılan veriler, haber metinlerinden ve bu metinlerin özetlerinden oluşmaktadır.
- Eğitim ve Test Bölünmesi: Veri seti %80 eğitim, %20 test olarak bölünmüştür.
- Maksimum Girdi Uzunluğu: 512 token
- Maksimum Çıktı Uzunluğu (Özet): 150 token
Eğitim Detayları
- Model Mimarisi: MT5-base
- Eğitim Hedefi: Seq2Seq özetleme
- Batch Boyutu: 4
- Epoch Sayısı: 6
- Ağırlık Azaltma (Weight Decay): 0.01
- Öğrenme Oranı: 5e-5
- Değerlendirme Stratejisi: Her epoch sonunda değerlendirme yapılmıştır.
- Logging: Her epoch sonunda loglama yapılmıştır.
- Cihaz: CUDA destekli GPU
Eğitim ve Değerlendirme Kayıpları
Eğitim sırasında elde edilen kayıp değerleri:
- İlk epoch sonunda eğitim kaybı: 0.6440, doğrulama kaybı: 0.5474
- Son epoch sonunda eğitim kaybı: 0.4879, doğrulama kaybı: 0.4721
Değerlendirme Sonuçları
Modelin performansı ROUGE ve BERTScore metrikleri kullanılarak değerlendirilmiştir.
ROUGE Skorları:
- ROUGE-1: Precision: 0.4231, Recall: 0.5000, F1-score: 0.4583
- ROUGE-2: Precision: 0.2400, Recall: 0.2857, F1-score: 0.2609
- ROUGE-L: Precision: 0.4231, Recall: 0.5000, F1-score: 0.4583
BERTScore:
- Precision: 0.9031
- Recall: 0.9196
- F1-score: 0.9113
Sınırlamalar ve Yanlılıklar
- Model, eğitim verisinde bulunan yanlılıkları öğrenebilir ve bu nedenle özetlerinde bu yanlılıkları yansıtabilir.
- Özellikle çok uzun ve karmaşık haber metinlerinde özetleme kalitesinde düşüşler gözlemlenebilir.
Alıntı
Bu modeli kullanırsanız lütfen şu şekilde alıntı yapın:
@article{2024turkishsummarization,
title={mT5 Tabanlı Türkçe Haber Özetleme Modeli},
author={Nebi Berke İçöz},
year={2024},
url={https://huggingface.co/nebiberke/news-sum-tr}
}