Update app.py

app.py

@@ -5,8 +5,8 @@ import pandas as pd
 from typing import List, Dict, Tuple
 import json
 import io
-
 import traceback
+
 # 추론 API 클라이언트 설정
 hf_client = InferenceClient(
     "CohereForAI/c4ai-command-r-plus-08-2024", token=os.getenv("HF_TOKEN")
@@ -30,7 +30,6 @@ def load_parquet(filename: str) -> str:
     except Exception as e:
         return f"파일을 읽는 중 오류가 발생했습니다: {str(e)}"
 
-
 def respond(
     message: str,
     history: List[Dict[str, str]],
@@ -82,7 +81,6 @@ def respond(
         print(error_message)
         yield error_message
 
-
 def upload_csv(file_path: str) -> Tuple[str, str]:
     try:
         # CSV 파일 읽기
@@ -120,7 +118,7 @@ def upload_parquet(file_path: str) -> Tuple[str, str, str]:
 def text_to_parquet(text: str) -> Tuple[str, str, str]:
     try:
         # 텍스트를 DataFrame으로 변환 (각 행은 콤마로 구분)
-        data = [line.split(',') for line in text.strip().split('\n')]
+        data = [line.strip().split(',') for line in text.strip().split('\n')]
         df = pd.DataFrame(data, columns=['id', 'text', 'label', 'metadata'])
         # 데이터 유형 최적화
         df = df.astype({'id': 'int32', 'text': 'string', 'label': 'string', 'metadata': 'string'})
@@ -133,6 +131,37 @@ def text_to_parquet(text: str) -> Tuple[str, str, str]:
     except Exception as e:
         return f"텍스트 변환 중 오류가 발생했습니다: {str(e)}", "", ""
 
+def preprocess_text_with_llm(input_text: str) -> str:
+    # LLM에게 입력 텍스트를 전처리하도록 요청
+    system_prompt = """당신은 입력된 긴 텍스트를 데이터셋 형식에 맞게 전처리하는 역할을 합니다.
+- 데이터셋 형식은 id,text,label,metadata입니다.
+- 각 행은 쉼표로 구분되며, 텍스트 내에 쉼표가 있을 경우 제거하거나 다른 문자로 대체합니다.
+- 텍스트를 의미 단위로 분할하고, 적절히 문장을 재구성하고 편집하여 최적화된 문장으로 만듭니다.
+- 각 문장에 대해 id를 부여하고, 적절한 label(카테고리)을 지정합니다.
+- metadata에는 출처나 날짜 등의 추가 정보를 포함할 수 있습니다.
+- 최종 결과는 각 행이 'id,text,label,metadata' 형식의 CSV 형태가 되도록 합니다.
+"""
+    prompt = system_prompt + "\n\n입력 텍스트:\n" + input_text + "\n\n전처리된 데이터셋:"
+    try:
+        response = ""
+        stream = hf_client.text_generation(
+            prompt=prompt,
+            max_new_tokens=2000,
+            temperature=0.5,
+            top_p=0.9,
+            stream=True,
+        )
+        for msg in stream:
+            if msg:
+                response += msg
+        # 응답에서 전처리된 데이터셋 부분만 추출
+        processed_text = response.strip()
+        return processed_text
+    except Exception as e:
+        error_message = f"전처리 중 오류가 발생했습니다: {str(e)}\n{traceback.format_exc()}"
+        print(error_message)
+        return error_message
+
 # CSS 설정
 css = """
 footer {
@@ -161,9 +190,8 @@ textarea, input[type="text"] {
 }
 """
 
-
 # Gradio Blocks 인터페이스 설정
-with gr.Blocks(theme="Nymbo/Nymbo_Theme", css=css) as demo:
+with gr.Blocks(css=css) as demo:
     gr.Markdown("# My RAG: LLM이 나만의 데이터로 학습한 콘텐츠 생성/답변", elem_id="initial-description")
     gr.Markdown(
         "### 1) 나만의 데이터를 입력 또는 CSV 업로드로 Parquet 데이터셋 자동 변환 2) Parquet 데이터셋을 업로드하면, LLM이 맞춤 학습 데이터로 활용하여 응답\n"
@@ -325,8 +353,39 @@ with gr.Blocks(theme="Nymbo/Nymbo_Theme", css=css) as demo:
                     outputs=[convert_status, parquet_preview_convert, download_parquet_convert]
                 )
 
+    # 네 번째 탭: 텍스트를 데이터셋 형식으로 전처리 (탭 이름: "Text Preprocessing with LLM")
+    with gr.Tab("Text Preprocessing with LLM"):
+        gr.Markdown("### 텍스트를 입력하면 LLM이 데이터셋 형식에 맞게 전처리하여 출력합니다.")
+        with gr.Row():
+            with gr.Column():
+                raw_text_input = gr.Textbox(
+                    label="텍스트 입력",
+                    lines=15,
+                    placeholder="여기에 전처리할 텍스트를 입력하세요..."
+                )
+                preprocess_button = gr.Button("전처리 실행")
+                preprocess_status = gr.Textbox(label="전처리 상태", interactive=False)
+                processed_text_output = gr.Textbox(
+                    label="전처리된 데이터셋 출력",
+                    lines=15,
+                    interactive=False
+                )
+
+                def handle_text_preprocessing(input_text: str):
+                    preprocess_status.value = "전처리 중입니다. 잠시만 기다려주세요..."
+                    processed_text = preprocess_text_with_llm(input_text)
+                    preprocess_status.value = "전처리가 완료되었습니다."
+                    return preprocess_status.value, processed_text
+
+                preprocess_button.click(
+                    handle_text_preprocessing,
+                    inputs=raw_text_input,
+                    outputs=[preprocess_status, processed_text_output]
+                )
+
     gr.Markdown("### [email protected]", elem_id="initial-description")
 
 if __name__ == "__main__":
     demo.launch()
 
+