Update app.py

app.py

@@ -117,9 +117,10 @@ def upload_parquet(file_path: str) -> Tuple[str, str, str]:
 
 def text_to_parquet(text: str) -> Tuple[str, str, str]:
     try:
-        # 텍스트를 DataFrame으로 변환 (각 행은 콤마로 구분)
-        data = [line.strip().split(',') for line in text.strip().split('\n')]
-        df = pd.DataFrame(data, columns=['id', 'text', 'label', 'metadata'])
+        from io import StringIO
+        # CSV 데이터를 StringIO를 통해 읽기
+        csv_data = StringIO(text)
+        df = pd.read_csv(csv_data, sep=',', dtype=str)
         # 데이터 유형 최적화
         df = df.astype({'id': 'int32', 'text': 'string', 'label': 'string', 'metadata': 'string'})
         # Parquet 파일로 변환
@@ -135,7 +136,7 @@ def preprocess_text_with_llm(input_text: str) -> str:
     # LLM에게 입력 텍스트를 전처리하도록 요청
     system_prompt = """당신은 입력된 긴 텍스트를 데이터셋 형식에 맞게 전처리하는 역할을 합니다.
 - 데이터셋 형식은 id,text,label,metadata입니다.
-- 각 행은 쉼표로 구분되며, 텍스트 내에 쉼표가 있을 경우 제거하거나 다른 문자로 대체합니다.
+- 각 행은 쉼표로 구분되며, **텍스트나 다른 필드 내에 쉼표가 있을 경우 해당 필드를 큰따옴표(")로 감쌉니다.**
 - 텍스트를 의미 단위로 분할하고, 적절히 문장을 재구성하고 편집하여 최적화된 문장으로 만듭니다.
 - 각 문장에 대해 id를 부여하고, 적절한 label(카테고리)을 지정합니다.
 - metadata에는 출처나 날짜 등의 추가 정보를 포함할 수 있습니다.