Update app.py

app.py

@@ -1,5 +1,4 @@
 import gradio as gr
-import torch
 from transformers import pipeline, set_seed
 
 # Setzen eines Seeds für Reproduzierbarkeit
@@ -9,43 +8,46 @@ set_seed(42)
 model = pipeline("text-generation", model="Loewolf/GPT_1")
 tokenizer = model.tokenizer
 
-def generate_text(input_text):
-    # Konvertieren des Eingabetextes in Token-IDs
-    input_ids = tokenizer.encode(input_text, return_tensors="pt")
+def generate_text(input_text, temperature, top_k, top_p, length, system_prompt):
+    # Anpassen des Eingabetextes mit System-Prompt, falls vorhanden
+    adjusted_input_text = system_prompt + input_text if system_prompt else input_text
 
-    # Erstellung der Attention-Mask
-    attention_mask = torch.ones(input_ids.shape, dtype=torch.bool)
+    # Konvertieren des Eingabetextes in Token-IDs
+    input_ids = tokenizer.encode(adjusted_input_text, return_tensors="pt")
 
     # Einstellung der maximalen Länge
-    max_length = model.model.config.n_positions if len(input_ids[0]) > model.model.config.n_positions else len(input_ids[0]) + 20
+    max_length = length if length else model.model.config.n_positions
 
     # Textgenerierung mit spezifischen Parametern
-    beam_output = model.model.generate(
+    output = model.model.generate(
         input_ids,
-        attention_mask=attention_mask,
         max_length=max_length,
-        min_length=4,
-        num_beams=5,
+        temperature=temperature,
+        top_k=top_k,
+        top_p=top_p,
         no_repeat_ngram_size=2,
-        early_stopping=True,
-        temperature=0.9,
-        top_p=0.90,
-        top_k=50,
-        length_penalty=2.0,
-        do_sample=True,
-        eos_token_id=tokenizer.eos_token_id,
         pad_token_id=tokenizer.eos_token_id
     )
 
     # Konvertieren der generierten Token-IDs zurück in Text
-    return tokenizer.decode(beam_output[0], skip_special_tokens=True)
+    return tokenizer.decode(output[0], skip_special_tokens=True)
 
 # Erstellen der Gradio-Schnittstelle
-interface = gr.Interface(fn=generate_text, inputs="text", outputs="text")
+interface = gr.Interface(
+    fn=generate_text,
+    inputs=[
+        gr.inputs.Textbox(lines=2, placeholder="Geben Sie Ihren Text hier ein..."),
+        gr.inputs.Slider(minimum=0.1, maximum=1.0, step=0.1, default=0.9, label="Temperature"),
+        gr.inputs.Slider(minimum=1, maximum=100, step=1, default=50, label="Top K"),
+        gr.inputs.Slider(minimum=0.1, maximum=1.0, step=0.1, default=0.9, label="Top P"),
+        gr.inputs.Number(default=50, label="Länge"),
+        gr.inputs.Textbox(lines=2, placeholder="System-Prompt (optional)")
+    ],
+    outputs="text",
+    layout="vertical"
+)
 
 # Starten der Gradio-App
 interface.launch()
 
 
-
-