Update app.py

app.py

@@ -1,11 +1,11 @@
-from transformers import pipeline
+from transformers import pipeline, T5ForConditionalGeneration, T5Tokenizer
 import gradio as gr
-import torch
 from PyPDF2 import PdfReader
-import os
 
-# T5-Modell laden
-qa_model = pipeline("question-answering", model="t5-small")
+# T5-Modell und Tokenizer laden
+model = T5ForConditionalGeneration.from_pretrained('t5-small')
+tokenizer = T5Tokenizer.from_pretrained('t5-small')
+qa_model = pipeline("text2text-generation", model=model, tokenizer=tokenizer)
 
 # Funktion zum Extrahieren von Text aus der PDF
 def extract_text_from_pdf(pdf_path):
@@ -20,18 +20,20 @@ def chatbot_response(pdf_path, question):
     # PDF-Text extrahieren
     context = extract_text_from_pdf(pdf_path)
     
-    # Bei langen Dokumenten Text in Abschnitte unterteilen (max. 512 Tokens)
+    # Text aufteilen, falls er zu lang ist
     max_input_length = 512
     context_parts = [context[i:i + max_input_length] for i in range(0, len(context), max_input_length)]
     
+    # Die Frage als Prompt an T5 schicken
     answers = []
-    
-    # Iteriere über alle Textabschnitte und frage das Modell
     for part in context_parts:
-        result = qa_model(question=question, context=part)
-        answers.append(result['answer'])
+        input_text = f"question: {question} context: {part}"
+        input_ids = tokenizer.encode(input_text, return_tensors="pt", truncation=True, max_length=512)
+        output = model.generate(input_ids, max_length=150, num_beams=4, early_stopping=True)
+        answer = tokenizer.decode(output[0], skip_special_tokens=True)
+        answers.append(answer.strip())
     
-    # Antworte mit der besten Antwort (du kannst auch mehrere Antworten kombinieren)
+    # Gib die letzte Antwort zurück
     return answers[-1] if answers else "Keine Antwort gefunden"
 
 # Gradio-Interface erstellen