Update app.py

app.py

@@ -62,7 +62,7 @@ def format_prompt(message, history):
     prompt += f"[INST] {message} [/INST]"
     return prompt
 
-def generate(prompt, history=[], temperature=0.1, max_new_tokens=23200, top_p=0.95, repetition_penalty=1.0):
+def generate(prompt, history=[], temperature=0.1, max_new_tokens=20000, top_p=0.95, repetition_penalty=1.0):
     input_tokens = len(tokenizer.encode(prompt))
     available_tokens = 32768 - input_tokens  # 최대 허용 토큰 수에서 입력 토큰 수를 뺀 값
     max_new_tokens = min(max_new_tokens, available_tokens)  # 사용 가능한 최대 토큰 수 조정