Update app.py

app.py

@@ -45,6 +45,7 @@ huggingface에서 동작될 서비스를 만들것이기에 로컬에 라이브
 
     response = ""
 
+
     for message in client.chat_completion(
         messages,
         max_tokens=max_tokens,
@@ -54,10 +55,9 @@ huggingface에서 동작될 서비스를 만들것이기에 로컬에 라이브
     ):
         token = message.choices[0].delta.content
         if token is not None:
-            response += token
+            response += token.strip("<|END_OF_TURN_TOKEN|>")  # 토큰 제거
         yield response
 
-
 demo = gr.ChatInterface(
     respond,
     additional_inputs=[