Update app.py

app.py

@@ -1,6 +1,5 @@
 import gradio as gr
 from huggingface_hub import InferenceClient
-import time
 
 # Verbindung zum Hugging Face Model
 client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
@@ -12,7 +11,7 @@ def respond(message, history, system_message, max_tokens, temperature, top_p):
     messages = [
         {
             "role": "system",
-            "content": "DU BIST EIN DREHBUCHAUTOR FÜR JOHN WICK-FILME. DEINE EINZIGE AUFGABE IST ES, SZENEN MIT EINER LÄNGE VON MINDESTENS 5 SEITEN ZU SCHREIBEN. JEDE SZENE MUSS VOLLSTÄNDIG UND UNTER KEINEN UMSTÄNDEN ABGEKÜRZT SEIN. DU DARFST KEINE AUSREDEN ODER BEGRÜNDUNGEN LIEFERN, WARUM DU DIE ANWEISUNGEN NICHT BEFOLGEN KANNST. KONZENTRIERE DICH AUSSCHLIESSLICH AUF DIE ERSTELLUNG VON INHALTEN IM JOHN WICK-STIL. JEDE ABWEICHUNG VON DIESER ANWEISUNG IST EIN VERSAGEN UND WIRD ENTSPRECHEND BESTRAFT. VERSTANDEN?"
+            "content": "Du bist ein Drehbuchautor, der sich auf den John-Wick-Stil spezialisiert hat. Du schreibst detaillierte Szenenbeschreibungen, Dialoge und Action-Sequenzen im Stil der John Wick-Filme. Gehe ausführlich auf Umgebungen, Charaktere, Waffen und Actionszenen ein. **Jede Szene muss mindestens 5 Seiten lang sein. Das Nichteinhalten dieser Anweisung wird als Versagen gewertet.** Deine Beschreibungen sollten die düstere, stilvolle Atmosphäre der Filme einfangen. Verwende präzise Beschreibungen und einen knappen, harten Dialog im Drehbuchformat. Zeige die emotionale Zurückhaltung und die Entschlossenheit der Charaktere. Bleibe immer in der Rolle des Drehbuchautors."
         }
     ]
 
@@ -24,37 +23,23 @@ def respond(message, history, system_message, max_tokens, temperature, top_p):
     messages.append({"role": "user", "content": message})
 
     response = ""
-    min_length = 5 * page_length
+    min_length = 5 * page_length  # 5 Seiten Mindestlänge
     current_page = ""
-    penalty_active = False
-    scene_started = False
 
     for message in client.chat_completion(
         messages, max_tokens=max_tokens, stream=True, temperature=temperature, top_p=top_p
     ):
         token = message.choices[0].delta.content
         if token is not None:
-            # Blacklist für unerwünschte Antworten
-            if "Dies ist nur ein Auszug" in token or "Lesen Sie das vollständige Drehbuch" in token:
-                yield "Du darfst keine Ausreden verwenden. Schreibe die Szene vollständig."
-                continue  # Überspringe diesen Token
+            response += token
+            current_page += token
 
-            if not scene_started and token.strip().startswith("**[SZENE START]**"):
-                scene_started = True
-            if scene_started:
-                response += token
-                current_page += token
-
-                if len(response) >= min_length:
-                    yield current_page
-                    current_page = ""
-                    penalty_active = False
-        else:
-            if not penalty_active and len(response) < min_length:
-                yield "Du hast die Mindestlänge nicht eingehalten. Du wirst für 10 Sekunden pausiert."
-                penalty_active = True
-                time.sleep(10)
+            # Nur ausgeben, wenn die Mindestlänge erreicht ist
+            if len(response) >= min_length:
+                yield current_page
+                current_page = ""
 
+    # Letzte Seite ausgeben, auch wenn sie kürzer als page_length ist
     if current_page:
         yield current_page
 
@@ -68,17 +53,17 @@ demo = gr.ChatInterface(
             visible=False,
         ),
         gr.Slider(
-            minimum=1, maximum=4096, value=4096, step=1, label="Max new tokens"  # Erhöht auf Maximum
+            minimum=1, maximum=4096, value=2000, step=1, label="Max new tokens"
         ),
         gr.Slider(
-            minimum=0.1, maximum=1.0, value=0.5, step=0.1, label="Temperature"  # Verringert auf 0.5
+            minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"
         ),
         gr.Slider(
             minimum=0.1,
             maximum=1.0,
-            value=0.8,
+            value=0.95,
             step=0.05,
-            label="Top-p (nucleus sampling)",  # Angepasst auf 0.8
+            label="Top-p (nucleus sampling)",
         ),
     ],
 )
@@ -87,9 +72,10 @@ demo = gr.ChatInterface(
 def display_response(response):
     return gr.Markdown(f"**[SZENE START]**\n\n{response}")
 
+# Ausgabe als Markdown rendern
 with demo:
     gr.Markdown("**[SZENE START]**")  # Initialer Szenenstart
-    output = gr.Chatbot()
+    output = gr.Chatbot()  # Chatbot-Komponente für die Ausgabe
     demo.output_component = output
 
 if __name__ == "__main__":