Update app.py

app.py

@@ -6,6 +6,7 @@ from typing import List, Dict, Tuple
 import json
 import io
 import traceback
+import csv
 
 # 추론 API 클라이언트 설정
 hf_client = InferenceClient(
@@ -120,7 +121,14 @@ def text_to_parquet(text: str) -> Tuple[str, str, str]:
         from io import StringIO
         # CSV 데이터를 StringIO를 통해 읽기
         csv_data = StringIO(text)
-        df = pd.read_csv(csv_data, sep=',', dtype=str)
+        df = pd.read_csv(
+            csv_data,
+            sep=',',
+            dtype=str,
+            quoting=csv.QUOTE_ALL,  # 모든 필드를 큰따옴표로 감싸는 것으로 처리
+            escapechar='\\',        # 이스케이프 문자 설정
+            engine='python'         # Python 엔진 사용
+        )
         # 데이터 유형 최적화
         df = df.astype({'id': 'int32', 'text': 'string', 'label': 'string', 'metadata': 'string'})
         # Parquet 파일로 변환
@@ -130,13 +138,16 @@ def text_to_parquet(text: str) -> Tuple[str, str, str]:
         parquet_content = load_parquet(parquet_filename)
         return f"{parquet_filename} 파일이 성공적으로 변환되었습니다.", parquet_content, parquet_filename
     except Exception as e:
-        return f"텍스트 변환 중 오류가 발생했습니다: {str(e)}", "", ""
+        error_message = f"텍스트 변환 중 오류가 발생했습니다: {str(e)}\n{traceback.format_exc()}"
+        print(error_message)
+        return error_message, "", ""
 
 def preprocess_text_with_llm(input_text: str) -> str:
     # LLM에게 입력 텍스트를 전처리하도록 요청
     system_prompt = """당신은 입력된 긴 텍스트를 데이터셋 형식에 맞게 전처리하는 역할을 합니다.
 - 데이터셋 형식은 id,text,label,metadata입니다.
-- 각 행은 쉼표로 구분되며, **텍스트나 다른 필드 내에 쉼표가 있을 경우 해당 필드를 큰따옴표(")로 감쌉니다.**
+- 각 행은 쉼표로 구분되며, **텍스트나 다른 필드 내에 쉼표가 있을 경우 해당 필드를 반드시 큰따옴표(")로 감쌉니다.**
+- **필드 내에 큰따옴표가 포함된 경우, 해당 큰따옴표 앞에 백슬래시(\\)를 추가하여 이스케이프 처리합니다.**
 - 텍스트를 의미 단위로 분할하고, 적절히 문장을 재구성하고 편집하여 최적화된 문장으로 만듭니다.
 - 각 문장에 대해 id를 부여하고, 적절한 label(카테고리)을 지정합니다.
 - metadata에는 출처나 날짜 등의 추가 정보를 포함할 수 있습니다.
@@ -334,7 +345,7 @@ with gr.Blocks(css=css) as demo:
                 text_input = gr.Textbox(
                     label="텍스트 입력 (각 행은 `id,text,label,metadata` 형식으로 입력)",
                     lines=10,
-                    placeholder="예: 1,이순신,장군,거북선\n2,원균,장군,모함\n3,선조,왕,시기\n4,도요토미 히데요시,왕,침략"
+                    placeholder='예: 1,"이순신","장군","거북선"\n2,"원균","장군","모함"\n3,"선조","왕","시기"\n4,"도요토미 히데요시","왕","침략"'
                 )
                 convert_button = gr.Button("변환 및 다운로드")
                 convert_status = gr.Textbox(label="변환 상태", interactive=False)
@@ -390,3 +401,4 @@ if __name__ == "__main__":
     demo.launch()
 
 
+