Update app.py

app.py

@@ -157,26 +157,48 @@ def upload_parquet(file_path: str) -> Tuple[str, str, str]:
         # Parquet 파일 읽기
         df = pd.read_parquet(file_path, engine='pyarrow')
         
-        # 데이터 검증 및 전처리
-        if 'text' not in df.columns or 'label' not in df.columns:
-            return "필수 컬럼(text, label)이 없습니다.", "", ""
-            
-        # 데이터 요약 정보 생성
+        # 데이터 기본 정보 수집
         data_info = {
             "총 레코드 수": len(df),
-            "레이블 분포": df['label'].value_counts().to_dict(),
-            "컬럼 목록": list(df.columns)
+            "컬럼 목록": list(df.columns),
+            "데이터 타입": df.dtypes.to_dict(),
+            "결측치 정보": df.isnull().sum().to_dict()
         }
         
-        # Markdown으로 변환하여 미리보기
-        parquet_content = f"""### 데이터셋 정보:
-- 총 레코드 수: {data_info['총 레코드 수']}
-- 레이블 분포: {data_info['레이블 분포']}
-- 컬럼: {', '.join(data_info['컬럼 목록'])}
-
-### 데이터 미리보기:
-{df.head(10).to_markdown(index=False)}
-"""
+        # 데이터 요약 정보 생성
+        summary = []
+        summary.append(f"### 데이터셋 기본 정보:")
+        summary.append(f"- 총 레코드 수: {data_info['총 레코드 수']}")
+        summary.append(f"- 컬럼 목록: {', '.join(data_info['컬럼 목록'])}")
+        
+        # 각 컬럼별 통계 정보 생성
+        summary.append("\n### 컬럼별 정보:")
+        for col in df.columns:
+            if df[col].dtype in ['int64', 'float64']:
+                # 수치형 데이터
+                stats = df[col].describe()
+                summary.append(f"\n{col} (수치형):")
+                summary.append(f"- 평균: {stats['mean']:.2f}")
+                summary.append(f"- 최소: {stats['min']}")
+                summary.append(f"- 최대: {stats['max']}")
+            elif df[col].dtype == 'object' or df[col].dtype == 'string':
+                # 문자열 데이터
+                unique_count = df[col].nunique()
+                summary.append(f"\n{col} (텍스트):")
+                summary.append(f"- 고유값 수: {unique_count}")
+                if unique_count < 10:  # 고유값이 적은 경우만 표시
+                    value_counts = df[col].value_counts().head(5)
+                    summary.append("- 상위 5개 값:")
+                    for val, count in value_counts.items():
+                        summary.append(f"  • {val}: {count}개")
+        
+        # 미리보기 생성
+        preview = df.head(10).to_markdown(index=False)
+        summary.append("\n### 데이터 미리보기:")
+        summary.append(preview)
+        
+        parquet_content = "\n".join(summary)
+        
         # DataFrame을 JSON 문자열로 변환 (Q&A에서 사용)
         parquet_json = df.to_json(orient='records', force_ascii=False)
         
@@ -184,6 +206,7 @@ def upload_parquet(file_path: str) -> Tuple[str, str, str]:
     except Exception as e:
         return f"Parquet 파일 업로드 중 오류가 발생했습니다: {str(e)}", "", ""
 
+
 def respond(message: str, history: List[Dict[str, str]], system_message: str = "", max_tokens: int = 4000, temperature: float = 0.5, top_p: float = 0.9, parquet_data: str = None) -> str:
     try:
         if parquet_data:
@@ -191,25 +214,40 @@ def respond(message: str, history: List[Dict[str, str]], system_message: str = "
             df = pd.read_json(io.StringIO(parquet_data))
             
             # 데이터셋 컨텍스트 생성
+            columns_info = []
+            for col in df.columns:
+                if df[col].dtype in ['int64', 'float64']:
+                    col_type = "수치형"
+                    stats = df[col].describe()
+                    col_info = f"- {col} ({col_type}): 평균={stats['mean']:.2f}, 최소={stats['min']}, 최대={stats['max']}"
+                else:
+                    col_type = "텍스트"
+                    unique_count = df[col].nunique()
+                    col_info = f"- {col} ({col_type}): 고유값 {unique_count}개"
+                columns_info.append(col_info)
+
             data_context = f"""
 현재 업로드된 데이터셋 정보:
 - 총 {len(df)} 개의 레코드
-- 레이블 종류: {', '.join(df['label'].unique())}
-- 데이터 필드: {', '.join(df.columns)}
+- 컬럼 정보:
+{chr(10).join(columns_info)}
 
-다음 데이터를 기반으로 질문에 답변하세요:
-{df.head(50).to_string()} # 처음 50개 레코드만 컨텍스트로 제공
+샘플 데이터:
+{df.head(20).to_string()}
 """
             system_prompt = f"""당신은 업로드된 데이터셋을 분석하고 질문에 답변하는 AI 어시스턴트입니다.
 
 주요 지침:
 1. 반드시 한글로 답변할 것
-2. 데이터셋의 내용을 기반으로 정확하게 답변할 것
+2. 데이터셋의 실제 내용을 기반으로 정확하게 답변할 것
 3. 데이터에 없는 내용은 추측하지 말 것
 4. ��변은 간단명료하게 할 것
 5. 데이터 프라이버시를 고려하여 답변할 것
 
-데이터셋 컨텍스트:
+데이터셋 구조 설명:
+{chr(10).join(columns_info)}
+
+참고할 데이터 샘플:
 {data_context}
 """
         else: