Update app.py

app.py

@@ -40,8 +40,9 @@ llm = Llama(model_path = 'Llama-2-ko-7B-chat-gguf-q4_0.bin',
       )
 # App code
 def chat(x):    
-    output = llm(f"다음은 A와 B의 역할극이야. 너는 B야. A와 대화하고 있어. 친구에게 친근하고 간결하게 잘 대답해줘.\n\n### A:\n{x}\n\n### B:\n", max_tokens=20, stop=["###"], echo=True)
-    return output['choices'][0]['text'][len("다음은 A와 B의 역할극이야. 너는 B야. A와 대화하고 있어. 친구에게 친근하고 간결하게 잘 대답해줘."):-1]
+    prom = f"다음은 A와 B의 역할극이야. 너는 B야. A와 대화하고 있어. 친구에게 친근하고 간결하게 잘 대답해줘.\n\n### A:\n{x}\n\n### B:\n"
+    output = llm(prom, max_tokens=20, stop=["###"], echo=True)
+    return output['choices'][0]['text'][len(prom):-1]
 
     
 with gr.Blocks() as demo: