Update app.py

app.py

@@ -87,11 +87,13 @@ def generate(prompt, history=[], temperature=0.1, max_new_tokens=25000, top_p=0.
     input_tokens = len(tokenizer.encode(prompt))
     available_tokens = 32768 - input_tokens
     max_new_tokens = min(max_new_tokens, available_tokens)
-
+    
     if available_tokens <= 0:
-        return "Error: 입력이 최대 허용 토큰 수를 초과합니다.", f"Used tokens: {input_tokens}"
+        yield "Error: 입력이 최대 허용 토큰 수를 초과합니다."
+        return
 
     formatted_prompt = format_prompt(prompt, history)
+    
     try:
         stream = client.text_generation(formatted_prompt, temperature=temperature, max_new_tokens=max_new_tokens,
                                         top_p=top_p, repetition_penalty=repetition_penalty, do_sample=True, seed=42, stream=True)
@@ -100,20 +102,10 @@ def generate(prompt, history=[], temperature=0.1, max_new_tokens=25000, top_p=0.
             if isinstance(response, dict) and 'generated_text' in response:
                 output += response['generated_text']
             else:
-                output += str(response)  # 이 부분을 문자열로 처리
-        return output, f"Used tokens: {input_tokens + max_new_tokens}"
+                output += str(response)  # 예외 처리를 개선하여 모든 응답을 문자열로 처리
+            yield output
     except Exception as e:
-        return f"Error: {str(e)}", "Used tokens: 0"
-
-demo = gr.Interface(
-    fn=generate,
-    inputs=[gr.Textbox(label="질문을 입력하세요", placeholder="여기에 질문을 입력하세요...", lines=2), gr.JSON(label="History", value=[])],
-    outputs=[gr.Markdown(), gr.Label()],
-    title="AIQ 코드파일럿: OpenLLM v1.12",
-    description="AIQ Codepilot과 상호작용해 보세요."
-)
-
-demo.launch(show_api=False)
+        yield f"Error: {str(e)}  # 에러 로깅을 강화하여 문제를 좀 더 명확히 식별"
 
 
 mychatbot = gr.Chatbot(
@@ -133,9 +125,6 @@ examples = [
     ["Huggingface와 Gradio를 사용하는 방법에 대해 물어보세요.", []]
 ]
 
-def update_output(result):
-    output_text, used_tokens = result
-    return output_text, f"Used tokens: {used_tokens}"
 
 demo = gr.ChatInterface(
     fn=generate,
@@ -146,4 +135,4 @@ demo = gr.ChatInterface(
     examples=examples    
 )
 
-demo.queue().launch(show_api=False)
+demo.queue().launch(show_api=False)