Update app.py

app.py

@@ -156,14 +156,95 @@ def upload_parquet(file_path: str) -> Tuple[str, str, str]:
     try:
         # Parquet 파일 읽기
         df = pd.read_parquet(file_path, engine='pyarrow')
+        
+        # 데이터 검증 및 전처리
+        if 'text' not in df.columns or 'label' not in df.columns:
+            return "필수 컬럼(text, label)이 없습니다.", "", ""
+            
+        # 데이터 요약 정보 생성
+        data_info = {
+            "총 레코드 수": len(df),
+            "레이블 분포": df['label'].value_counts().to_dict(),
+            "컬럼 목록": list(df.columns)
+        }
+        
         # Markdown으로 변환하여 미리보기
-        parquet_content = df.head(10).to_markdown(index=False)
-        # DataFrame을 JSON 문자열로 변환
+        parquet_content = f"""### 데이터셋 정보:
+- 총 레코드 수: {data_info['총 레코드 수']}
+- 레이블 분포: {data_info['레이블 분포']}
+- 컬럼: {', '.join(data_info['컬럼 목록'])}
+
+### 데이터 미리보기:
+{df.head(10).to_markdown(index=False)}
+"""
+        # DataFrame을 JSON 문자열로 변환 (Q&A에서 사용)
         parquet_json = df.to_json(orient='records', force_ascii=False)
+        
         return "Parquet 파일이 성공적으로 업로드되었습니다.", parquet_content, parquet_json
     except Exception as e:
         return f"Parquet 파일 업로드 중 오류가 발생했습니다: {str(e)}", "", ""
 
+def respond(message: str, history: List[Dict[str, str]], system_message: str = "", max_tokens: int = 4000, temperature: float = 0.5, top_p: float = 0.9, parquet_data: str = None) -> str:
+    try:
+        if parquet_data:
+            # JSON 문자열을 DataFrame으로 변환
+            df = pd.read_json(io.StringIO(parquet_data))
+            
+            # 데이터셋 컨텍스트 생성
+            data_context = f"""
+현재 업로드된 데이터셋 정보:
+- 총 {len(df)} 개의 레코드
+- 레이블 종류: {', '.join(df['label'].unique())}
+- 데이터 필드: {', '.join(df.columns)}
+
+다음 데이터를 기반으로 질문에 답변하세요:
+{df.head(50).to_string()} # 처음 50개 레코드만 컨텍스트로 제공
+"""
+            system_prompt = f"""당신은 업로드된 데이터셋을 분석하고 질문에 답변하는 AI 어시스턴트입니다.
+
+주요 지침:
+1. 반드시 한글로 답변할 것
+2. 데이터셋의 내용을 기반으로 정확하게 답변할 것
+3. 데이터에 없는 내용은 추측하지 말 것
+4. 답변은 간단명료하게 할 것
+5. 데이터 프라이버시를 고려하여 답변할 것
+
+데이터셋 컨텍스트:
+{data_context}
+"""
+        else:
+            system_prompt = system_message or "너는 AI 조언자 역할이다."
+
+        # OpenAI API 호출
+        messages = [{"role": "system", "content": system_prompt}]
+        
+        # 최근 대화 기록 추가
+        recent_history = history[-3:] if history else []
+        for chat in recent_history:
+            messages.append({"role": chat["role"], "content": chat["content"]})
+        
+        messages.append({"role": "user", "content": message})
+
+        response = client.chat.completions.create(
+            model="gpt-4-0125-preview",
+            messages=messages,
+            max_tokens=max_tokens,
+            temperature=temperature,
+            top_p=top_p,
+            stream=True
+        )
+
+        full_response = ""
+        for chunk in response:
+            if chunk.choices[0].delta.content:
+                full_response += chunk.choices[0].delta.content
+                yield clean_response(full_response)
+
+    except Exception as e:
+        error_message = f"응답 생성 중 오류 발생: {str(e)}"
+        print(f"{error_message}\n{traceback.format_exc()}")
+        yield error_message
+
 def text_to_parquet(text: str) -> Tuple[str, str, str]:
     try:
         from io import StringIO