Update app.py

app.py

@@ -13,6 +13,11 @@ hf_api_key = os.getenv('HF_API_KEY')
 # 모델 및 토크나이저 설정
 model_id = "microsoft/phi-2"
 tokenizer = AutoTokenizer.from_pretrained(model_id, token=hf_api_key, trust_remote_code=True)
+
+# 토크나이저에 패딩 토큰 설정
+if tokenizer.pad_token is None:
+    tokenizer.pad_token = tokenizer.eos_token  # EOS 토큰을 패딩 토큰으로 사용
+
 model = AutoModelForCausalLM.from_pretrained(
     model_id,
     token=hf_api_key,
@@ -41,7 +46,7 @@ def format_prompt(prompt, retrieved_documents, k):
 
 def generate(formatted_prompt):
     prompt_text = f"{SYS_PROMPT} {formatted_prompt}"
-    input_ids = tokenizer(prompt_text, return_tensors="pt", padding=True).input_ids.to(accelerator.device)
+    input_ids = tokenizer(prompt_text, return_tensors="pt", padding="max_length", max_length=512).input_ids.to(accelerator.device)
     outputs = model.generate(
         input_ids,
         max_new_tokens=1024,
@@ -67,4 +72,4 @@ iface = gr.Interface(
     description="This chatbot provides more accurate answers by searching relevant documents and generating responses."
 )
 
-iface.launch(share=True)  # 여기에서 share=True를 설정하여 공개 링크를 생성
+iface.launch(share=True)