Update app.py

app.py

@@ -161,10 +161,7 @@ def preprocess_text_with_llm(input_text: str) -> str:
 - 텍스트에 쉼표가 있으면 큰따옴표로 감싸기
 - 큰따옴표는 백슬래시로 이스케이프 처리
 - 각 행은 새로운 줄로 구분
-- 모든 필드는 쉼표로 구분
-
-입력 텍스트:
-"""
+- 모든 필드는 쉼표로 구분"""
 
     full_prompt = f"{system_prompt}\n\n{input_text}\n\n출력:"
 
@@ -172,8 +169,8 @@ def preprocess_text_with_llm(input_text: str) -> str:
         response = ""
         stream = hf_client.text_generation(
             prompt=full_prompt,
-            max_new_tokens=4000,  # 토큰 수 증가
-            temperature=0.3,      # 더 결정적인 출력을 위해 낮춤
+            max_new_tokens=4000,
+            temperature=0.3,
             top_p=0.9,
             stream=True,
         )
@@ -182,12 +179,14 @@ def preprocess_text_with_llm(input_text: str) -> str:
             if msg:
                 response += msg
         
-        # 응답 정제
-        processed_text = response.strip()
+        # <EOS_TOKEN> 이전까지만 추출
+        if "<EOS_TOKEN>" in response:
+            processed_text = response.split("<EOS_TOKEN>")[0].strip()
+        else:
+            processed_text = response.strip()
         
         # CSV 형식 검증
         try:
-            # StringIO를 사용하여 CSV 형식 검증
             from io import StringIO
             import csv
             csv.reader(StringIO(processed_text))
@@ -196,7 +195,7 @@ def preprocess_text_with_llm(input_text: str) -> str:
             return "LLM이 올바른 CSV 형식을 생성하지 못했습니다. 다시 시도해주세요."
             
     except Exception as e:
-        error_message = f"전처리 중 오류가 발생했습니다: {str(e)}\n{traceback.format_exc()}"
+        error_message = f"전처리 중 오류가 발생했습니다: {str(e)}"
         print(error_message)
         return error_message