Update app.py

app.py

@@ -32,27 +32,27 @@ def load_parquet(filename: str) -> str:
         return f"파일을 읽는 중 오류가 발생했습니다: {str(e)}"
 
 def respond(message: str, history: List[Dict[str, str]], system_message: str = "", max_tokens: int = 4000, temperature: float = 0.5, top_p: float = 0.9, parquet_data: str = None) -> str:
-    # 시스템 프롬프트에 중복 방지 지시 추가
+    # 시스템 프롬프트 강화
     system_prefix = """반드시 한글로 답변할 것. 너는 업로드된 데이터를 기반으로 질문에 답변하는 역할을 한다.
-    
-    중요 규칙:
-    1. 이전 대화에서 이미 답변한 내용을 반복하지 말 것
-    2. 질문과 직접 관련된 내용만 답변할 것
-    3. 불필요한 예시나 부연 설명은 최소화할 것
-    4. 답변은 명확하고 간결하게 할 것
-    5. 동일한 내용을 다른 표현으로 반복하지 말 것
-    """
-    
+
+주요 지침:
+1. 질문과 직접 관련된 내용만 간단명료하게 답변할 것
+2. 이전 답변과 중복되는 내용은 제외할 것
+3. 불필요한 예시나 부연 설명은 하지 말 것
+4. 동일한 내용을 다른 표현으로 반복하지 말 것
+5. 핵심 정보만 전달할 것
+"""
+
     if parquet_data:
         try:
             df = pd.read_json(io.StringIO(parquet_data))
             data_summary = df.describe(include='all').to_string()
-            system_prefix += f"\n\n업로드된 데이터 요약:\n{data_summary}"
+            system_prefix += f"\n\n데이터 요약:\n{data_summary}"
         except Exception as e:
             print(f"데이터 로드 오류: {str(e)}")
     
-    # 이전 대화 컨텍스트 최적화
-    recent_history = history[-3:] if history else []  # 최근 3개 대화만 유지
+    # 최근 대화 컨텍스트만 유지
+    recent_history = history[-3:] if history else []
     
     prompt = system_prefix + "\n\n"
     for chat in recent_history:
@@ -68,23 +68,45 @@ def respond(message: str, history: List[Dict[str, str]], system_message: str = "
             prompt=prompt,
             max_new_tokens=max_tokens,
             stream=True,
-            temperature=temperature,
+            temperature=temperature,  # 낮은 temperature로 일관성 유지
             top_p=top_p,
-            repetition_penalty=1.2,  # 반복 페널티 추가
-            no_repeat_ngram_size=3,  # n-gram 반복 방지
+            repetition_penalty=1.2,  # 반복 페널티만 적용
         )
         
         for msg in stream:
             if msg:
                 response += msg
-                # 중복 문장 제거
-                response = remove_duplicates(response)
-                yield response
+                # 응답 정제
+                cleaned_response = clean_response(response)
+                yield cleaned_response
     except Exception as e:
         error_message = f"추론 오류: {str(e)}"
         print(error_message)
         yield error_message
 
+def clean_response(text: str) -> str:
+    """응답 텍스트 정제 함수"""
+    # 문장 단위로 분리
+    sentences = [s.strip() for s in text.split('.') if s.strip()]
+    
+    # 중복 제거
+    unique_sentences = []
+    seen = set()
+    
+    for sentence in sentences:
+        # 문장 정규화 (공백 제거, 소문자 변환)
+        normalized = ' '.join(sentence.lower().split())
+        if normalized not in seen:
+            seen.add(normalized)
+            unique_sentences.append(sentence)
+    
+    # 정제된 문장 결합
+    cleaned_text = '. '.join(unique_sentences)
+    if cleaned_text and not cleaned_text.endswith('.'):
+        cleaned_text += '.'
+        
+    return cleaned_text
+    
 def remove_duplicates(text: str) -> str:
     """중복 문장 제거 함수"""
     sentences = text.split('.')
@@ -332,28 +354,37 @@ with gr.Blocks(css=css) as demo:
         def handle_message_data_upload(message: str, history: List[Dict[str, str]], system_message: str, max_tokens: int, temperature: float, top_p: float, parquet_data: str):
             history = history or []
     
-            # 중복 질문 체크
-            if history and any(chat['role'] == 'user' and chat['content'].strip() == message.strip() for chat in history[-3:]):
+    # 중복 질문 검사
+            recent_questions = [chat['content'].strip().lower() for chat in history[-3:] if chat['role'] == 'user']
+                if message.strip().lower() in recent_questions:
                 yield history + [{"role": "assistant", "content": "동일한 질문이 최근에 있었습니다. 다른 질문을 해주세요."}], ""
                 return
     
             try:
                 history.append({"role": "user", "content": message})
-                response_gen = respond(message, history, system_message, max_tokens, temperature, top_p, parquet_data)
+                response_gen = respond(
+                    message, 
+                    history, 
+                    system_message, 
+                    max_tokens, 
+                    temperature=0.3,  # 낮은 temperature 사용
+                    top_p=top_p, 
+                    parquet_data=parquet_data
+                )
         
                 partial_response = ""
                 for partial in response_gen:
                     partial_response = partial
-                    # 중복 제거된 응답으로 업데이트
-                    display_history = history + [{"role": "assistant", "content": remove_duplicates(partial_response)}]
+                    display_history = history + [{"role": "assistant", "content": partial_response}]
                     yield display_history, ""
             
-                history.append({"role": "assistant", "content": remove_duplicates(partial_response)})
+                history.append({"role": "assistant", "content": partial_response})
             except Exception as e:
                 response = f"오류 발생: {str(e)}"
                 history.append({"role": "assistant", "content": response})
                 yield history, ""
 
+   
 
 
         send_data_upload.click(