Update app.py

app.py

@@ -36,12 +36,12 @@ routes.get_types = get_types
 hf_hub_download(repo_id='StarFox7/Llama-2-ko-7B-chat-gguf', filename='Llama-2-ko-7B-chat-gguf-q4_0.bin', local_dir='./')
 
 llm = Llama(model_path = 'Llama-2-ko-7B-chat-gguf-q4_0.bin',
-            n_ctx=2048,
+            n_ctx=512,
       )
 # App code
 def chat(x):    
-    output = llm(f"다음은 A와 B의 역할극이야. 너는 B야. A와 대화하고 있어. 친구에게 친근하고 간결하게 잘 대답해줘.\n\n### A:\n{x}\n\n### B:\n", max_tokens=80, stop=["###"], echo=True)
-    return output['choices'][0]['text']
+    output = llm(f"다음은 A와 B의 역할극이야. 너는 B야. A와 대화하고 있어. 친구에게 친근하고 간결하게 잘 대답해줘.\n\n### A:\n{x}\n\n### B:\n", max_tokens=20, stop=["###"], echo=True)
+    return output['choices'][0]['text'][len("다음은 A와 B의 역할극이야. 너는 B야. A와 대화하고 있어. 친구에게 친근하고 간결하게 잘 대답해줘."):-1]
 
     
 with gr.Blocks() as demo: