Update app.py

app.py

@@ -6,6 +6,7 @@ from typing import List, Dict, Tuple
 import json
 import io
 
+import traceback
 # 추론 API 클라이언트 설정
 hf_client = InferenceClient(
     "CohereForAI/c4ai-command-r-plus-08-2024", token=os.getenv("HF_TOKEN")
@@ -36,44 +37,51 @@ def respond(
     max_tokens: int = 1000,
     temperature: float = 0.7,
     top_p: float = 0.9,
-    parquet_data: Dict = None
+    parquet_data: str = None
 ) -> str:
     # 시스템 프롬프트 설정
     if parquet_data:
         system_prefix = """반드시 한글로 답변할 것. 너는 업로드된 데이터를 기반으로 질문에 답변하는 역할을 한다. 데이터를 분석하여 사용자에게 도움이 되는 정보를 제공하라. 데이터를 활용하여 상세하고 정확한 답변을 제공하되, 민감한 정보나 개인 정보를 노출하지 마라."""
-        
-        # 수정된 부분: StringIO로 감싸서 데이터프레임 생성
-        df = pd.read_json(io.StringIO(parquet_data))
-        
-        # 데이터의 요약 정보 생성
-        data_summary = df.describe(include='all').to_string()
-        system_prefix += f"\n\n업로드된 데이터의 요약 정보:\n{data_summary}"
+        try:
+            df = pd.read_json(io.StringIO(parquet_data))
+            # 데이터의 요약 정보 생성
+            data_summary = df.describe(include='all').to_string()
+            system_prefix += f"\n\n업로드된 데이터의 요약 정보:\n{data_summary}"
+        except Exception as e:
+            print(f"데이터 로드 중 오류 발생: {str(e)}\n{traceback.format_exc()}")
+            system_prefix += "\n\n데이터를 로드하는 중 오류가 발생했습니다."
     else:
         system_prefix = system_message or "너는 AI 조언자 역할이다."
-        
 
-
-    # 시스템 메시지와 대화 기록 결합
-    messages = [{"role": "system", "content": system_prefix}]
+    # 메시지 생성 (API 요구 사항에 맞게 수정)
+    prompt = system_prefix + "\n\n"
     for chat in history:
-        messages.append({"role": chat['role'], "content": chat['content']})
+        if chat['role'] == 'user':
+            prompt += f"사용자: {chat['content']}\n"
+        else:
+            prompt += f"AI: {chat['content']}\n"
+    prompt += f"사용자: {message}\nAI:"
 
     try:
         # 모델에 메시지 전송 및 응답 받기
         response = ""
-        for msg in hf_client.chat_completion(
-            messages,
-            max_tokens=max_tokens,
+        stream = hf_client.text_generation(
+            prompt=prompt,
+            max_new_tokens=max_tokens,
             stream=True,
             temperature=temperature,
             top_p=top_p,
-        ):
-            token = msg.get('delta', {}).get('content', '')
+        )
+        for msg in stream:
+            token = msg.get('generated_text', '')
             if token:
                 response += token
                 yield response
     except Exception as e:
-        yield f"추론 중 오류가 발생했습니다: {str(e)}"
+        error_message = f"추론 중 오류가 발생했습니다: {str(e)}\n{traceback.format_exc()}"
+        print(error_message)
+        yield error_message
+
 
 def upload_csv(file_path: str) -> Tuple[str, str]:
     try: