Update app.py

app.py

@@ -85,15 +85,14 @@ def format_prompt(message, history):
 
 def generate(prompt, history=[], temperature=0.1, max_new_tokens=25000, top_p=0.95, repetition_penalty=1.0):
     input_tokens = len(tokenizer.encode(prompt))
-    available_tokens = 32768 - input_tokens
-    max_new_tokens = min(max_new_tokens, available_tokens)
-    
+    available_tokens = 32768 - input_tokens  # 최대 허용 토큰 수에서 입력 토큰 수를 뺀 값
+    max_new_tokens = min(max_new_tokens, available_tokens)  # 사용 가능한 최대 토큰 수 조정
+
     if available_tokens <= 0:
         yield "Error: 입력이 최대 허용 토큰 수를 초과합니다."
         return
 
     formatted_prompt = format_prompt(prompt, history)
-    
     try:
         stream = client.text_generation(formatted_prompt, temperature=temperature, max_new_tokens=max_new_tokens,
                                         top_p=top_p, repetition_penalty=repetition_penalty, do_sample=True, seed=42, stream=True)
@@ -102,10 +101,10 @@ def generate(prompt, history=[], temperature=0.1, max_new_tokens=25000, top_p=0.
             if isinstance(response, dict) and 'generated_text' in response:
                 output += response['generated_text']
             else:
-                output += str(response)  # 예외 처리를 개선하여 모든 응답을 문자열로 처리
+                output += str(response)
             yield output
     except Exception as e:
-        yield f"Error: {str(e)}  # 에러 로깅을 강화하여 문제를 좀 더 명확히 식별"
+        yield f"Error: {str(e)}"
 
 
 mychatbot = gr.Chatbot(