Update app.py

app.py

@@ -144,6 +144,7 @@ def text_to_parquet(text: str) -> Tuple[str, str, str]:
         print(error_message)
         return error_message, "", ""
 
+
 def preprocess_text_with_llm(input_text: str) -> str:
     if not input_text.strip():
         return "입력 텍스트가 비어있습니다."
@@ -162,32 +163,23 @@ def preprocess_text_with_llm(input_text: str) -> str:
 - 큰따옴표는 백슬래시로 이스케이프 처리
 - 각 행은 새로운 줄로 구분
 - 모든 필드는 쉼표로 구분
-
-입력 텍스트:
+- <EOS_TOKEN>이나 불필요한 텍스트는 제거
 """
 
-    full_prompt = f"{system_prompt}\n\n{input_text}\n\n출력:"
-
     try:
-        response = ""
-        stream = hf_client.text_generation(
-            prompt=full_prompt,
-            max_new_tokens=4000,  # 토큰 수 증가
-            temperature=0.3,      # 더 결정적인 출력을 위해 낮춤
+        response = hf_client.text_generation(
+            prompt=f"{system_prompt}\n\n{input_text}\n\n출력:",
+            max_new_tokens=4000,
+            temperature=0.3,
             top_p=0.9,
-            stream=True,
+            stream=False
         )
         
-        for msg in stream:
-            if msg:
-                response += msg
-        
-        # 응답 정제
-        processed_text = response.strip()
+        # 응답에서 <EOS_TOKEN> 이전까지만 추출
+        processed_text = response.split("<EOS_TOKEN>")[0].strip()
         
         # CSV 형식 검증
         try:
-            # StringIO를 사용하여 CSV 형식 검증
             from io import StringIO
             import csv
             csv.reader(StringIO(processed_text))
@@ -200,6 +192,7 @@ def preprocess_text_with_llm(input_text: str) -> str:
         print(error_message)
         return error_message
 
+
 # CSS 설정
 css = """
 footer {