from src.deepeval.base_task import BaseTask from collections import defaultdict from src.deepeval.utils import accuracy, accuracy_standard_error from typing import Any import re class POSTask(BaseTask): def __init__(self, model_name): super().__init__("metunlp/tr_pos", model_name=model_name) def load_dataset_from_hf(self): dataset = super().load_dataset_from_hf() return dataset def generate_response_oeqa_multi_token(self, msg,max_new_tokens: int = 128): """ Handles multiple-choice questions where answers might have multiple tokens. """ # Ensure tokenizer has proper special tokens set if self.tokenizer.pad_token is None: self.tokenizer.pad_token = self.tokenizer.eos_token if self.model.config.pad_token_id is None: self.model.config.pad_token_id = self.tokenizer.pad_token_id chat = [ {"role": "user", "content": "You are a question-answering chatbot."}, {"role": "assistant", "content": "I am ready to answer your questions. Feel free to ask anything.\n"}, {"role": "user", "content": f"{msg}"}, ] formatted_chat = self.tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True) inputs = self.tokenizer(formatted_chat, return_tensors="pt", padding=True, truncation=True) input_ids = inputs.input_ids.to(self.model.device) attention_mask = inputs.attention_mask.to(self.model.device) prompt = ("Aşağıdaki Named Entity Recognition (NER) için etiketlenmesi gereken cümleler vardır. " "Cümlelerdeki varlıkları belirleyin ve şu kategorilere ayırın: CARDINAL, DATE, EVENT, FAC, GPE, LANGUAGE, LAW, LOC, MONEY, NORP, ORDINAL, ORG, PER, PERCENT, PERSON, PRODUCT, QUANTITY, TIME, TITLE, WORK_OF_ART. " "" "Varlıklar, anlamlı bilgiler içeren terimlerdir ve aşağıdaki şekilde tanımlanır: " "CARDINAL: Nicelik veya sıralama belirtmeyen sayısal ifadeler." "DATE: Belirli bir tarih veya zaman ifadeleri." "EVENT: Adlandırılmış olaylar veya durumlar." "FAC: Binalar veya önemli yerler gibi tesisler." "GPE: Ülke, şehir veya eyalet gibi coğrafi-politik varlıklar." "LANGUAGE: Adlandırılmış diller." "LAW: Yasal belgeler, düzenlemeler veya kanunlar." "LOC: Coğrafi veya fiziksel konumlar (GPE dışındaki)." "MONEY: Parasal değerler." "NORP: Milletler, dini veya siyasi gruplar." "ORDINAL: Sıralama veya dereceler." "ORG: Organizasyonlar veya kurumlar." "PER: Kişisel unvanlar veya sıfatlar." "PERSON: Bireylerin isimleri." "PRODUCT: Üretilen nesneler veya araçlar." "QUANTITY: Ölçülebilir miktarlar ve birimler." "TIME: Günün belirli saatleri." "TITLE: Kişi unvanları." "WORK_OF_ART: Sanat eserleri, kitaplar, müzik vb. Adlar, tarih ifadeleri, konumlar gibi belirgin bilgiler varlıktır." "" "Fiiller, sıfatlar, zarflar, soyut kavramlar gibi ifadeler varlık değildir. Çıktıyı aşağıdaki JSON formatında döndürün. " "" "Örnekler: " "Girdi: " "\"sentence\": \"Üç yıl aradan sonra gerçekleştirilen ve Karadeniz, Ege ve Akdeniz’de düzenlenecek olan tatbikata ilişkin Yunanistan'ın Kathimerini gazetesi 'Türk-Yunan: Çetin donanma dengesinin gücü' başlığını kullandı.\"" "Çıktı: " "Üç yıl: DATE\" }, { \"text\": \"Karadeniz\", \"label\": \"LOC\" }, { \"text\": \"Ege\", \"label\": \"LOC\" }, { \"text\": \"Akdeniz\", \"label\": \"LOC\" }, { \"text\": \"Yunanistan\", \"label\": \"GPE\" }, { \"text\": \"Kathimerini\", \"label\": \"ORG\" }, { \"text\": \"Türk\", \"label\": \"NORP\" }]} Girdi: {\"sentence\": \"Evlendikten sonra oyunculuğu bırakan Makal, geçen yıl eşi ve oğluyla beraber İstanbul’dan Göcek’e taşınmıştı.\"} Çıktı: {\"entities\": [{ \"text\": \"Makal\", \"label\": \"PERSON\" }, { \"text\": \"İstanbul\", \"label\": \"GPE\" }, { \"text\": \"Göcek\", \"label\": \"GPE\" }]} Girdi: {\"sentence\": \"Yeşil-kırmızılılardan 2016’da ayrılıp 3 sezonluk aradan sonra 2019’da geri dönen Sarıca, takımına 2021 yılında Şampiyonlar Ligi’nde, 2023’te de Süper Lig’de iki final oynattı.\"} Çıktı: {\"entities\": [{ \"text\": \"2016’da\", \"label\": \"DATE\" }, { \"text\": \"3\", \"label\": \"CARDINAL\" }, { \"text\": \"2019’da\", \"label\": \"DATE\" }, { \"text\": \"Sarıca\", \"label\": \"PERSON\" }, { \"text\": \"2021\", \"label\": \"DATE\" }, { \"text\": \"Şampiyonlar Ligi’nde\", \"label\": \"EVENT\" }, { \"text\": \"2023’te\", \"label\": \"DATE\" }, { \"text\": \"Süper Lig’de\", \"label\": \"EVENT\" }, { \"text\": \"iki\", \"label\": \"CARDINAL\" }]}. Verilen cümlelerdeki varlıkları JSON formatında yukarıdaki örneklere benzer şekilde belirleyin. Çıktıyı aşağıdaki gibi oluşturun: Girdi Formatı: {\"sentence\": \"\"} Çıktı Formatı: {\"entities\": [{ \"text\": \"\", \"label\": \"\" }]}"), # Generate response with proper token limits output = self.model.generate( input_ids, do_sample=True, attention_mask=attention_mask, eos_token_id=self.tokenizer.eos_token_id, pad_token_id=self.tokenizer.pad_token_id, temperature=0.4, max_new_tokens=max_new_tokens, ) generated_ids = output[0] # The generated sequence including the prompt generated_tokens = generated_ids[len(input_ids[0]):] # Exclude the input_ids part generated_text = self.tokenizer.decode(generated_tokens, skip_special_tokens=True) return generated_text def evaluate(self) -> dict[str, Any]: responses = [] difficulty_results = defaultdict(lambda: {'correct': 0, 'total': 0}) total_count = 0 true = 0 for row in self.dataset: total_count += 1 # Get values from row category = str(row["difficulty"]) answer = row["final_answer"] question = row["question"] # Construct the prompt/message instruction = f"""Aşağıdaki matematik problemini verilen nihai cevap formatına uygun olacak şekilde çözün. Tüm adımları gösterdikten sonra, nihai cevabınızı sadece bir kez ve aşağıdaki kurallara uygun şekilde kutu (\\boxed{{}}) içinde verin. Nihai Cevap için Uyulması Gereken Format Kuralları: 1. Kesirler her zaman en sade hallerinde verilmeli. - Matris içi kesirler: x/y biçiminde. - Diğer tüm kesirler: \\frac{{x}}{{y}} biçiminde. 2. Çarpma işareti (*) kullanılmamalı. Örnek: 2x yazın, 2**x* değil. 3. Birden çok değişken varsa alfabetik sıraya uyulmalı ve (x, y, z...), polinomları azalan derece sırasına göre yazılmalı. 4. Her zaman aynı gösterim biçimi kullanılmalı. Ondalık yerine kesir kullanılmalı (ör. 0.5 yerine \\frac{{1}}{{2}} ). 5. Faktörize polinomlar daima aynı faktör sırası ile verilsin; her sorguda aynı cevabı verecek şekilde tutarlılığı koruyun. 6. Nihai cevabı kutu dışında tekrar etmeyin, biçimi değiştirmeyin. Aynı soru tekrarlandığında aynı formatı ve cevabı verin. 7. Nihai cevap, tek seferde \\boxed{{...}} içinde verilmeli. Örnek: Cevap x ise, "\\boxed{{x}}". Görev: Problemi çözün, son adımda yukarıdaki kurallara tam uyan tek bir kutu içinde nihai cevabı verin. Çözüm: Nihai cevap: """ prompt = f"{instruction}\n\nSoru:\n{question}\n" message = prompt # Get/format answer of the model model_answer = self.generate_response_oeqa_multi_token(message) responses.append(model_answer) model_answer_cleaned = re.search(r"\\boxed{([^}]*)}", model_answer) # Check if correct based on metric if answer == model_answer_cleaned: true += 1 difficulty_results[category]['correct'] += 1 difficulty_results[category]['total'] += 1 # Print results categorized by difficulty for category, stats in difficulty_results.items(): correct = stats['correct'] total = stats['total'] calculatedAccuracy = correct / total if total > 0 else 0 print(f"{category.capitalize()} Accuracy: {calculatedAccuracy:.2%} ({correct}/{total})") print("Results:", responses) print("Overall Accuracy:", true / total_count) acc = accuracy(true, total_count) acc_stderr = accuracy_standard_error(acc, total_count) return {"acc": acc, "acc_stderr": acc_stderr}