Update app.py

app.py

@@ -37,7 +37,7 @@ test_parquet_content = load_parquet('test.parquet')
 
 def respond(
     message,
-    history: List[Tuple[str, str]],
+    history: List[dict],
     system_message="",  # 기본값 추가
     max_tokens=4000,    # 기본값 변경
     temperature=0.7,    # 기본값 유지
@@ -57,12 +57,11 @@ def respond(
         system_message += f"\n\nMixGEN 코드 내용:\n```python\n{MixGEN_code}\n```"
         message = "MixGEN3 이미지 생성에 대한 내용을 학습하였고, 설명할 준비가 되어있다고 알리고 서비스 URL(https://openfree-mixgen3.hf.space)을 통해 테스트 해보라고 출력하라."
     elif message.lower() == "test.parquet 실행":
-        # 현재 Parquet 내용은 상태 변수에서 가져와야 함
-        # 여기서는 예시로 'parquet_content'가 history에 있다고 가정
+        # Parquet 내용 참조
         parquet_content = ""
         for item in history:
-            if isinstance(item, tuple) and item[0].startswith("Parquet"):
-                parquet_content = item[1]
+            if item['role'] == 'assistant' and 'test.parquet 파일 내용' in item['content']:
+                parquet_content = item['content'].split("```markdown\n")[1].split("\n```")[0]
                 break
         system_message += f"\n\ntest.parquet 파일 내용:\n```markdown\n{parquet_content}\n```"
         message = "test.parquet 파일에 대한 내용을 학습하였고, 관련 설명 및 Q&A를 진행할 준비가 되어있다. 궁금한 점이 있으면 물어보라."
@@ -71,11 +70,8 @@ def respond(
 
     # 시스템 메시지와 사용자 메시지 결합
     messages = [{"role": "system", "content": f"{system_prefix} {system_message}"}]
-    for val in history:
-        if isinstance(val, tuple) and val[0]:
-            messages.append({"role": "user", "content": val[0]})
-        if isinstance(val, tuple) and val[1]:
-            messages.append({"role": "assistant", "content": val[1]})
+    for chat in history:
+        messages.append({"role": chat['role'], "content": chat['content']})
     messages.append({"role": "user", "content": message})
 
     response = ""
@@ -94,10 +90,10 @@ def respond(
     except Exception as e:
         yield f"추론 중 오류가 발생했습니다: {str(e)}"
 
-def upload_csv(file):
+def upload_csv(file_path):
     try:
         # CSV 파일 읽기 (구분자 콤마)
-        df = pd.read_csv(file, sep=',')
+        df = pd.read_csv(file_path, sep=',')
 
         # CSV 파일의 컬럼 확인
         required_columns = {'id', 'text', 'label', 'metadata'}
@@ -115,7 +111,7 @@ def upload_csv(file):
         df = df.astype({'id': 'int32', 'text': 'string', 'label': 'category', 'metadata': 'string'})
 
         # Parquet 파일로 변환
-        parquet_filename = os.path.splitext(os.path.basename(file))[0] + '.parquet'
+        parquet_filename = os.path.splitext(os.path.basename(file_path))[0] + '.parquet'
         df.to_parquet(parquet_filename, engine='pyarrow', compression='snappy')
 
         # Parquet 파일 로드
@@ -125,10 +121,10 @@ def upload_csv(file):
     except Exception as e:
         return f"CSV 파일 업로드 및 변환 중 오류가 발생했습니다: {str(e)}", None
 
-def upload_parquet(file):
+def upload_parquet(file_path):
     try:
         # Parquet 파일 읽기
-        df = pd.read_parquet(file, engine='pyarrow')
+        df = pd.read_parquet(file_path, engine='pyarrow')
 
         # 데이터프레임을 Markdown으로 변환
         parquet_content = df.to_markdown(index=False)
@@ -137,10 +133,37 @@ def upload_parquet(file):
     except Exception as e:
         return f"Parquet 파일 업로드 중 오류가 발생했습니다: {str(e)}", None, None
 
+def text_to_parquet(text):
+    try:
+        # 텍스트를 DataFrame으로 변환 (예시: 각 줄을 새로운 행으로)
+        data = [line.split(',') for line in text.strip().split('\n')]
+        df = pd.DataFrame(data, columns=['id', 'text', 'label', 'metadata'])
+
+        # Parquet 파일로 변환
+        parquet_filename = 'text_to_parquet.parquet'
+        df.to_parquet(parquet_filename, engine='pyarrow', compression='snappy')
+
+        # Parquet 파일 로드
+        parquet_content = load_parquet(parquet_filename)
+
+        # 파일 데이터를 읽어 바이너리로 반환
+        with open(parquet_filename, "rb") as f:
+            data = f.read()
+
+        return f"{parquet_filename} 파일이 성공적으로 변환되었습니다.", parquet_content, (parquet_filename, data)
+    except Exception as e:
+        return f"텍스트 변환 중 오류가 발생했습니다: {str(e)}", "", None
+
 css = """
 footer {
     visibility: hidden;
 }
+.chatbot-container {
+    height: 600px;
+}
+.chatbot-container .message {
+    font-size: 14px;
+}
 """
 
 # Gradio Blocks 인터페이스 설정
@@ -149,7 +172,7 @@ with gr.Blocks(theme="Nymbo/Nymbo_Theme", css=css) as demo:
 
     with gr.Tab("챗봇"):
         gr.Markdown("### LLM과 대화하기")
-        chatbot = gr.Chatbot(label="챗봇")
+        chatbot = gr.Chatbot(label="챗봇", elem_id="chatbot-container")
         msg = gr.Textbox(label="메시지 입력")
         send = gr.Button("전송")
 
@@ -163,16 +186,16 @@ with gr.Blocks(theme="Nymbo/Nymbo_Theme", css=css) as demo:
         def handle_message(message, history, system_message, max_tokens, temperature, top_p):
             # Update history with user message
             history = history or []
-            history.append((message, None))
+            history.append({"role": "user", "content": message})
             # Generate response
             response = ""
             try:
                 for token in respond(message, history, system_message, max_tokens, temperature, top_p):
                     response = token
                 # Update history with assistant response
-                history[-1] = (message, response)
+                history.append({"role": "assistant", "content": response})
             except Exception as e:
-                history[-1] = (message, f"추론 중 오류가 발생했습니다: {str(e)}")
+                history.append({"role": "assistant", "content": f"추론 중 오류가 발생했습니다: {str(e)}"})
             return history, ""
 
         send.click(
@@ -192,13 +215,13 @@ with gr.Blocks(theme="Nymbo/Nymbo_Theme", css=css) as demo:
                 download_button = gr.File(label="Parquet 파일 다운로드", type="binary", interactive=False)
 
                 # 업로드 버튼 클릭 시 실행할 함수
-                def handle_csv_upload(file):
-                    message, parquet_filename = upload_csv(file)
+                def handle_csv_upload(file_path):
+                    message, parquet_filename = upload_csv(file_path)
                     if parquet_filename:
-                        # 파일을 다운로드할 수 있도록 경로 설정
+                        # 파일을 다운로드할 수 있도록 바이너리 데이터로 읽기
                         with open(parquet_filename, "rb") as f:
                             data = f.read()
-                        return message, load_parquet(parquet_filename), data
+                        return message, load_parquet(parquet_filename), (parquet_filename, data)
                     else:
                         return message, "", None
 
@@ -222,8 +245,8 @@ with gr.Blocks(theme="Nymbo/Nymbo_Theme", css=css) as demo:
                 # 상태를 저장할 Hidden State
                 parquet_data_state = gr.State()
 
-                def handle_parquet_upload(file):
-                    message, parquet_content, parquet_json = upload_parquet(file)
+                def handle_parquet_upload(file_path):
+                    message, parquet_content, parquet_json = upload_parquet(file_path)
                     if parquet_json:
                         return message, parquet_preview_chat.update(value=parquet_content), parquet_data_state.update(value=parquet_json)
                     else:
@@ -234,9 +257,9 @@ with gr.Blocks(theme="Nymbo/Nymbo_Theme", css=css) as demo:
                     inputs=parquet_upload,
                     outputs=[parquet_upload_status, parquet_preview_chat, parquet_data_state]
                 )
-
+        
         gr.Markdown("### LLM과 대화하기")
-        chatbot_data_upload = gr.Chatbot(label="챗봇 데이터 업로드")
+        chatbot_data_upload = gr.Chatbot(label="챗봇 데이터 업로드", elem_id="chatbot-data-upload")
         msg_data_upload = gr.Textbox(label="메시지 입력")
         send_data_upload = gr.Button("전송")
 
@@ -244,16 +267,16 @@ with gr.Blocks(theme="Nymbo/Nymbo_Theme", css=css) as demo:
         def handle_message_data_upload(message, history, system_message, max_tokens, temperature, top_p, parquet_data):
             # Update history with user message
             history = history or []
-            history.append((message, None))
+            history.append({"role": "user", "content": message})
             # Generate response
             response = ""
             try:
                 for token in respond(message, history, system_message, max_tokens, temperature, top_p):
                     response = token
                 # Update history with assistant response
-                history[-1] = (message, response)
+                history.append({"role": "assistant", "content": response})
             except Exception as e:
-                history[-1] = (message, f"추론 중 오류가 발생했습니다: {str(e)}")
+                history.append({"role": "assistant", "content": f"추론 중 오류가 발생했습니다: {str(e)}"})
             return history, ""
 
         send_data_upload.click(
@@ -262,6 +285,29 @@ with gr.Blocks(theme="Nymbo/Nymbo_Theme", css=css) as demo:
             outputs=[chatbot_data_upload, msg_data_upload]
         )
 
+    with gr.Tab("텍스트 to csv to parquet 변화"):
+        gr.Markdown("### 텍스트를 입력하면 CSV로 변환 후 Parquet으로 자동 전환됩니다.")
+        with gr.Row():
+            with gr.Column():
+                text_input = gr.Textbox(label="텍스트 입�� (각 행은 `id,text,label,metadata` 형식으로 입력)", lines=10)
+                convert_button = gr.Button("변환 및 다운로드")
+                convert_status = gr.Textbox(label="변환 상태", interactive=False)
+                parquet_preview_convert = gr.Markdown(label="Parquet 파일 미리보기")
+                download_parquet_convert = gr.File(label="Parquet 파일 다운로드", type="binary", interactive=False)
+
+                def handle_text_to_parquet(text):
+                    message, parquet_content, file_data = text_to_parquet(text)
+                    if file_data:
+                        return message, parquet_content, file_data
+                    else:
+                        return message, "", None
+
+                convert_button.click(
+                    handle_text_to_parquet,
+                    inputs=text_input,
+                    outputs=[convert_status, parquet_preview_convert, download_parquet_convert]
+                )
+
     gr.Markdown("## 주의 사항")
     gr.Markdown("""
     - **CSV 업로드**: CSV 파일을 업로드하면 자동으로 Parquet 파일로 변환됩니다. CSV 파일은 반드시 **콤마(`,`)**로 구분되어야 합니다.
@@ -269,6 +315,7 @@ with gr.Blocks(theme="Nymbo/Nymbo_Theme", css=css) as demo:
     - **LLM과의 대화**: 변환된 Parquet 파일 내용을 기반으로 LLM이 응답을 생성합니다.
     - **Parquet 다운로드**: 변환된 Parquet 파일을 다운로드하려면 변환된 파일 옆의 다운로드 링크를 클릭하세요.
     - **챗봇 데이터 업로드**: 챗봇 데이터 업로드 탭에서 Parquet 파일을 업로드하면 해당 데이터를 기반으로 질문과 답변을 진행할 수 있습니다.
+    - **텍스트 to csv to parquet**: 네 번째 탭에서 텍스트를 입력하면 자동으로 CSV로 변환되고, 다시 Parquet 파일로 전환되어 다운로드할 수 있습니다.
     """)
 
     gr.Markdown("### Gradio 인터페이스를 사용하여 LLM 모델과 상호작용하세요!")