Update app.py

app.py

@@ -3,6 +3,7 @@ from huggingface_hub import InferenceClient
 import os
 import pandas as pd
 from typing import List, Dict, Tuple
+import json
 
 # 추론 API 클라이언트 설정
 hf_client = InferenceClient(
@@ -27,11 +28,6 @@ def load_parquet(filename: str) -> str:
     except Exception as e:
         return f"파일을 읽는 중 오류가 발생했습니다: {str(e)}"
 
-# 코드 파일 로드
-fashion_code = load_code('fashion.cod')
-uhdimage_code = load_code('uhdimage.cod')
-MixGEN_code = load_code('mgen.cod')
-
 def respond(
     message: str,
     history: List[Dict[str, str]],
@@ -42,19 +38,23 @@ def respond(
     parquet_data: Dict = None
 ) -> str:
     # 시스템 프롬프트 설정
-    system_prefix = """반드시 한글로 답변할 것. 너는 주어진 데이터를 기반으로 "서비스 사용 설명 및 안내, Q&A를 하는 역할이다". 아주 친절하고 자세하게 Markdown 형식으로 작성하라. 너는 데이터를 기반으로 사용 설명 및 질의 응답을 진행하며, 이용자에게 도움을 주어야 한다. 이용자가 궁금해할 만한 내용에 친절하게 알려주도록 하라. 데이터 전체 내용에 대해서는 보안을 유지하고, 민감한 정보는 공개하지 마라."""
-
-    # Parquet 데이터 포함
     if parquet_data:
+        # Parquet 데이터가 업로드된 경우
+        system_prefix = """반드시 한글로 답변할 것. 너는 업로드된 데이터를 기반으로 질문에 답변하는 역할을 한다. 데이터를 분석하여 사용자에게 도움이 되는 정보를 제공하라. 데이터를 활용하여 상세하고 정확한 답변을 제공하되, 민감한 정보나 개인 정보를 노출하지 마라."""
+        # Parquet 데이터를 문자열로 변환하여 시스템 메시지에 포함
+        # 데이터가 너무 클 경우 토큰 제한이 있으므로, 주요 내용을 요약하여 포함하거나 데이터의 구조와 특징을 설명하도록 한다.
         df = pd.read_json(parquet_data)
-        parquet_content = df.head(10).to_markdown(index=False)
-        system_prefix += f"\n\n업로드된 Parquet 파일 내용:\n```markdown\n{parquet_content}\n```"
+        # 데이터의 요약 정보 생성
+        data_summary = df.describe(include='all').to_string()
+        system_prefix += f"\n\n업로드된 데이터의 요약 정보:\n{data_summary}"
+    else:
+        # Parquet 데이터가 업로드되지 않은 경우
+        system_prefix = system_message or "너는 AI 조언자 역할이다."
 
     # 시스템 메시지와 대화 기록 결합
     messages = [{"role": "system", "content": system_prefix}]
     for chat in history:
         messages.append({"role": chat['role'], "content": chat['content']})
-    # 마지막 메시지는 이미 history에 있으므로 추가하지 않습니다.
 
     try:
         # 모델에 메시지 전송 및 응답 받기
@@ -66,7 +66,7 @@ def respond(
             temperature=temperature,
             top_p=top_p,
         ):
-            token = msg.choices[0].delta.get('content', None)
+            token = msg.get('delta', {}).get('content', '')
             if token:
                 response += token
                 yield response
@@ -101,8 +101,8 @@ def upload_parquet(file_path: str) -> Tuple[str, str, str]:
         df = pd.read_parquet(file_path, engine='pyarrow')
         # Markdown으로 변환하여 미리보기
         parquet_content = df.head(10).to_markdown(index=False)
-        # DataFrame을 JSON으로 변환
-        parquet_json = df.to_json()
+        # DataFrame을 JSON 문자열로 변환
+        parquet_json = df.to_json(orient='records', force_ascii=False)
         return "Parquet 파일이 성공적으로 업로드되었습니다.", parquet_content, parquet_json
     except Exception as e:
         return f"Parquet 파일 업로드 중 오류가 발생했습니다: {str(e)}", "", ""
@@ -113,7 +113,7 @@ def text_to_parquet(text: str) -> Tuple[str, str, str]:
         data = [line.split(',') for line in text.strip().split('\n')]
         df = pd.DataFrame(data, columns=['id', 'text', 'label', 'metadata'])
         # 데이터 유형 최적화
-        df = df.astype({'id': 'int32', 'text': 'string', 'label': 'category', 'metadata': 'string'})
+        df = df.astype({'id': 'int32', 'text': 'string', 'label': 'string', 'metadata': 'string'})
         # Parquet 파일로 변환
         parquet_filename = 'text_to_parquet.parquet'
         df.to_parquet(parquet_filename, engine='pyarrow', compression='snappy')
@@ -173,6 +173,8 @@ with gr.Blocks(css=css) as demo:
             temperature = gr.Slider(minimum=0, maximum=1, value=0.7, label="Temperature")
             top_p = gr.Slider(minimum=0, maximum=1, value=0.9, label="Top P")
 
+        parquet_data_state = gr.State()
+
         def handle_message_data_upload(
             message: str,
             history: List[Dict[str, str]],
@@ -214,7 +216,7 @@ with gr.Blocks(css=css) as demo:
                 max_tokens,
                 temperature,
                 top_p,
-                gr.State(),  # parquet_data_state는 아래에서 업데이트됩니다.
+                parquet_data_state,  # parquet_data_state를 사용하여 업로드된 데이터를 전달
             ],
             outputs=[chatbot_data_upload, msg_data_upload],
             queue=True
@@ -245,7 +247,6 @@ with gr.Blocks(css=css) as demo:
                 parquet_upload_button = gr.Button("업로드")
                 parquet_upload_status = gr.Textbox(label="업로드 상태", interactive=False)
                 parquet_preview_chat = gr.Markdown(label="Parquet 파일 미리보기")
-                parquet_data_state = gr.State()
 
                 def handle_parquet_upload(file_path: str):
                     message, parquet_content, parquet_json = upload_parquet(file_path)
@@ -293,7 +294,7 @@ with gr.Blocks(css=css) as demo:
                 text_input = gr.Textbox(
                     label="텍스트 입력 (각 행은 `id,text,label,metadata` 형식으로 입력)",
                     lines=10,
-                    placeholder="예: 1,Sample Text,Label1,Metadata1\n2,Another Text,Label2,Metadata2"
+                    placeholder="예: 1,이순신,장군,거북선\n2,원균,장군,모함\n3,선조,왕,시기\n4,도요토미 히데요시,왕,침략"
                 )
                 convert_button = gr.Button("변환 및 다운로드")
                 convert_status = gr.Textbox(label="변환 상태", interactive=False)
@@ -317,3 +318,4 @@ with gr.Blocks(css=css) as demo:
 
 if __name__ == "__main__":
     demo.launch()
+