Update app.py

app.py

@@ -8,7 +8,6 @@ from datasets import load_dataset
 import pandas as pd
 from fuzzywuzzy import process
 
-
 # 현재 작업 디렉토리 출력
 print("Current Working Directory:", os.getcwd())
 
@@ -62,8 +61,8 @@ intents.messages = True
 intents.guilds = True
 intents.guild_messages = True
 
-# 추론 API 클라이언트 설정 (예시로 포함, 실제로 사용되지 않음)
-hf_client = InferenceClient("CohereForAI/c4ai-command-r-plus", token=os.getenv("HF_TOKEN"))
+# 추론 API 클라이언트 설정 (Cohere)
+hf_client = InferenceClient("cohere-ai/cohere", token=os.getenv("HF_TOKEN"))
 
 # 특정 채널 ID
 SPECIFIC_CHANNEL_ID = int(os.getenv("DISCORD_CHANNEL_ID"))
@@ -71,16 +70,36 @@ SPECIFIC_CHANNEL_ID = int(os.getenv("DISCORD_CHANNEL_ID"))
 # 대화 히스토리를 저장할 전역 변수
 conversation_history = []
 
+# 시스템 프롬프트 메시지
+SYSTEM_PROMPT = """
+안녕하세요! 대법원 판례 정보 LLM 양자화 검색 및 분석 기능을 제공합니다. 다음과 같이 사용할 수 있습니다:
+1. 특정 사건을 검색하고 싶다면 `!key 국가 보안법 위반` 형태로 입력하세요.
+2. 일반적인 법률 관련 질문이 있거나 대화를 원하시면 그냥 메시지를 입력하세요.
+3. 검색 결과 출력된 '사건번호'를 입력하면 '판결 전문'이 출력됩니다. 
+
+예시:
+- `!key 소유권이전등기` -> 해당 사건에 대한 사건번호를 제공합니다.
+- `소유권이전등기와 관련된 법적 절차는 무엇인가요?` -> 일반 법률 질문에 대한 답변을 제공합니다.
+- `69나1183` -> 해당 사건번호의 전문을 제공합니다.
+"""
+
 class MyClient(discord.Client):
     def __init__(self, *args, **kwargs):
         super().__init__(*args, **kwargs)
         self.is_processing = False
+        self.first_message_sent = False
 
     async def on_ready(self):
         logging.info(f'{self.user}로 로그인되었습니다!')
         subprocess.Popen(["python", "web.py"])
         logging.info("Web.py server has been started.")
 
+        # 시스템 프롬프트 메시지 전송
+        channel = self.get_channel(SPECIFIC_CHANNEL_ID)
+        if channel is not None:
+            await channel.send(SYSTEM_PROMPT)
+            logging.info("System prompt message sent.")
+
     async def on_message(self, message):
         if message.author == self.user:
             return
@@ -92,7 +111,13 @@ class MyClient(discord.Client):
 
         self.is_processing = True
         try:
-            response_parts = await generate_response(message)
+            if message.content.startswith("!key"):
+                # 키워드 검색
+                response_parts = await handle_keyword_search(message)
+            else:
+                # 자연어 처리 대화
+                response_parts = await handle_natural_language(message)
+                
             if response_parts:
                 for part in response_parts:
                     await message.channel.send(part)
@@ -107,9 +132,8 @@ class MyClient(discord.Client):
         thread_condition = isinstance(message.channel, discord.Thread) and message.channel.parent_id == SPECIFIC_CHANNEL_ID
         return channel_condition or thread_condition
 
-async def generate_response(message):
-    global conversation_history
-    user_input = message.content.strip()
+async def handle_keyword_search(message):
+    user_input = message.content[4:].strip()  # "!key"를 제외하고 트림 처리
     user_mention = message.author.mention
 
     # 유사한 사건명 및 판시사항 각각 찾기
@@ -145,7 +169,26 @@ async def generate_response(message):
     
     return response_parts
 
+async def handle_natural_language(message):
+    user_input = message.content.strip()
+    user_mention = message.author.mention
+    
+    # Cohere API를 사용하여 자연어 응답 생성
+    prompt = f"{user_input}"
+    response = hf_client.generate(prompt=prompt, max_new_tokens=100)
+    cohere_response = response.generated_text.strip()
+    
+    system_message = f"{user_mention}, {cohere_response}"
+    
+    # 메시지 길이 제한 처리
+    max_length = 2000
+    response_parts = []
+    for i in range(0, len(system_message), max_length):
+        part_response = system_message[i:i + max_length]
+        response_parts.append(part_response)
+    
+    return response_parts
+
 if __name__ == "__main__":
     discord_client = MyClient(intents=intents)
     discord_client.run(os.getenv('DISCORD_TOKEN'))
-