Update app.py

app.py

@@ -1,12 +1,44 @@
 import gradio as gr
-from transformers import pipeline
+import torch
+from transformers import pipeline, set_seed
+
+# Setzen eines Seeds für Reproduzierbarkeit
+set_seed(42)
 
 # Laden des GPT-Modells mit Hugging Face Pipeline
 model = pipeline("text-generation", model="Loewolf/GPT_1")
+tokenizer = model.tokenizer
 
-# Definition einer Wrapper-Funktion für das Modell
 def generate_text(input_text):
-    return model(input_text)[0]['generated_text']
+    # Konvertieren des Eingabetextes in Token-IDs
+    input_ids = tokenizer.encode(input_text, return_tensors="pt")
+
+    # Erstellung der Attention-Mask
+    attention_mask = torch.ones(input_ids.shape, dtype=torch.bool)
+
+    # Einstellung der maximalen Länge
+    max_length = model.model.config.n_positions if len(input_ids[0]) > model.model.config.n_positions else len(input_ids[0]) + 20
+
+    # Textgenerierung mit spezifischen Parametern
+    beam_output = model.model.generate(
+        input_ids,
+        attention_mask=attention_mask,
+        max_length=max_length,
+        min_length=4,
+        num_beams=5,
+        no_repeat_ngram_size=2,
+        early_stopping=True,
+        temperature=0.9,
+        top_p=0.90,
+        top_k=50,
+        length_penalty=2.0,
+        do_sample=True,
+        eos_token_id=tokenizer.eos_token_id,
+        pad_token_id=tokenizer.eos_token_id
+    )
+
+    # Konvertieren der generierten Token-IDs zurück in Text
+    return tokenizer.decode(beam_output[0], skip_special_tokens=True)
 
 # Erstellen der Gradio-Schnittstelle
 interface = gr.Interface(fn=generate_text, inputs="text", outputs="text")