Update app.py

app.py

@@ -21,10 +21,7 @@ from sklearn.feature_extraction.text import TfidfVectorizer
 from sklearn.metrics.pairwise import cosine_similarity
 from sentence_transformers import SentenceTransformer, util
 import numpy as np
-from langchain_core.output_parsers import JsonOutputParser
-from pydantic import BaseModel, Field
-from langchain_core.runnables.base import Runnable
-from langchain_mistralai import ChatMistralAI
+from mistralai import Mistral
 
 
 morph = pymorphy2.MorphAnalyzer()
@@ -34,12 +31,14 @@ openai_api_key = os.getenv('GPT_KEY')
 gc_key = os.getenv('GC_KEY')
 token = os.getenv('GITHUB_TOKEN')
 TOGETHER_API_KEY = os.getenv('TOGETHER_API_KEY')
-m_auth = os.getenv('MISTRAL_API_KEY')
-model = "open-mistral-nemo"
+MISTRAL_API_KEY = os.getenv('MISTRAL_API_KEY')
 
 # Инициализация клиента для Together
 client = Together(api_key=TOGETHER_API_KEY)
 
+# Инициализация клиента для Mistral
+client_mistral = Mistral(api_key=MISTRAL_API_KEY)
+
 # Авторизация в сервисе GigaChat
 chat_pro = GigaChat(credentials=gc_key, model='GigaChat-Pro', max_tokens=68, temperature=1.15, verify_ssl_certs=False)
 chat_lite = GigaChat(credentials=gc_key, model='GigaChat', max_tokens=68, temperature=1.15, verify_ssl_certs=False)
@@ -1171,6 +1170,21 @@ def generate_message_meta_llama_3_1_405b_with_retry(prompt):
             return correct_dash_usage(message)
     return message
 
+def generate_message_mistral(prompt):
+    try:
+        chat_response = client_mistral.chat.complete(
+            model="open-mistral-nemo",
+            messages=[
+                {
+                    "role": "user",
+                    "content": prompt,
+                },
+            ]
+        )
+        cleaned_message = clean_message(chat_response.choices[0].message.content.strip())
+        return cleaned_message
+    except Exception as e:
+        return f"Ошибка при обращении к Mistral: {e}"
 
 def generate_messages(description, advantages, key_message, approach, *selected_values):
     
@@ -2063,77 +2077,193 @@ def check_no_word_repetitions(message):
 
 # Проверки на LLM
 
-class LLMAnswerParser(BaseModel):
-    reasoning: str = Field(description='Рассуждения')
-    decision: bool = Field(description='True или False')
+# 22. Проверка сложных предложений без логической связи
+def check_disconnected_sentences(message):
+    prompt = f'''Проверь следующий текст на наличие сложных предложений, где отсутствует логическая связь между частями:
 
-llm = ChatMistralAI(
-    model=model,
-    api_key=m_auth,
-    temperature=0
-)
+"{message}"
 
-parser = JsonOutputParser(pydantic_object=LLMAnswerParser)
+Определи, есть ли в тексте предложения с несколькими частями, которые кажутся несвязанными, не поддерживают общую мысль или делают текст трудным для понимания.
+
+Если такие предложения есть, верни JSON {{"decision": true}}; если таких предложений нет, верни JSON {{"decision": false}}.
+
+Перед ответом убедись, что отвечаешь в формате JSON.
+
+Пример ответа:
+
+{{"decision": true}}'''
+
+    response = generate_message_mistral(prompt)
+    print("Mistral response:", response)
+    try:
+        result = json.loads(response)
+        decision = result.get("decision", False)
+        return decision
+    except Exception as e:
+        print(f"Ошибка при разборе JSON: {e}")
+        return None
 
-# 22. Проверка сложных предложений без логической связи
-def check_disconnected_sentences(message):
- 
-    parser = JsonOutputParser(pydantic_object=LLMAnswerParser)
-    
-    task = '''Проверь текст на наличие сложных предложений, где отсутствует логическая связь между частями. 
-    Определи, есть ли в тексте предложения с несколькими частями, которые кажутся несвязанными, не поддерживают общую мысль или делают текст трудным для понимания. 
-    Верни ответ в виде JSON с полями reasoning в виде строки и decision в виде True или False.'''
-    
-    return check_with_m(task, message, parser)
 
 # 23. Проверка на близкие по смыслу однородные члены
-def check_synonymous_members(sms, parser):
-    task = '''Проверь текст на наличие однородных членов предложения, которые имеют близкий или одинаковый смысл. 
-    Определи, есть ли в предложении ��есколько слов или выражений, которые передают одну и ту же идею или значение, но используются вместе. 
-    Верни ответ в виде JSON с полями reasoning в виде строки и decision в виде True или False.'''
+def check_synonymous_members(message):
+    prompt = f'''Проверь следующий текст на наличие однородных членов предложения, которые имеют близкий или одинаковый смысл:
+
+"{message}"
+
+Определи, есть ли в предложении несколько слов или выражений, которые передают одну и ту же идею или значение, но используются вместе.
+
+Если такие слова или выражения есть, верни JSON {{"decision": true}}; если таких слов или выражений нет, верни JSON {{"decision": false}}.
+
+Перед ответом убедись, что отвечаешь в формате JSON.
+
+Пример ответа:
+
+{{"decision": true}}'''
+
+    response = generate_message_mistral(prompt)
+    print("Mistral response:", response)
+    try:
+        result = json.loads(response)
+        decision = result.get("decision", False)
+        return decision
+    except Exception as e:
+        print(f"Ошибка при разборе JSON: {e}")
+        return None
+
     
     return check_with_m(task, sms, parser)
 
 # 24. Проверка на шокирующие, экстравагантные или кликбейтные фразы
-def check_clickbait_phrases(sms, parser):
-    task = '''Проверь СМС на наличие шокирующих, экстравагантных или кликбейтных фраз. 
-    Укажи, если текст содержит утверждения, которые:
-    - стремятся вызвать сильные эмоции (например, шок, страх, удивление);
-    - используют преувеличения, необоснованные заявления или сенсационные выражения;
-    - содержат провокационные формулировки, которые побуждают к немедленному действию или реакции.
-    Верни ответ в виде JSON с полями reasoning в виде строки и decision в виде True или False.'''
-    
-    return check_with_m(task, sms, parser)
+def check_clickbait_phrases(message):
+    prompt = f'''Проверь следующий текст на наличие шокирующих, экстравагантных или кликбейтных фраз:
+
+"{message}"
+
+Укажи, если текст содержит утверждения, которые:
+- стремятся вызвать сильные эмоции (например, шок, страх, удивление);
+- используют преувеличения, необоснованные заявления или сенсационные выражения;
+- содержат провокационные формулировки, которые побуждают к немедленному действию или реакции.
+
+Если такие фразы есть, верни JSON {{"decision": true}}; если таких фраз нет, верни JSON {{"decision": false}}.
+
+Перед ответом убедись, что отвечаешь в формате JSON.
+
+Пример ответа:
+
+{{"decision": false}}'''
+
+    response = generate_message_mistral(prompt)
+    print("Mistral response:", response)
+    try:
+        result = json.loads(response)
+        decision = result.get("decision", False)
+        return decision
+    except Exception as e:
+        print(f"Ошибка при разборе JSON: {e}")
+        return None
 
 # 25. Проверка на абстрактные заявления без поддержки фактами
-def check_abstract_claims(sms, parser):
-    task = '''Проверь текст на наличие абстрактных утверждений, которые не подкреплены фактами, данными или конкретными примерами. 
-    Определи, содержит ли текст общие фразы, которые не объясняют, как клиенту будет полезен продукт или услуга. 
-    Верни ответ в виде JSON с полями reasoning в виде строки и decision в виде True или False.'''
-    
-    return check_with_m(task, sms, parser)
+def check_abstract_claims(message):
+    prompt = f'''Проверь следующий текст на наличие абстрактных утверждений, которые не подкреплены фактами, данными или ко��кретными примерами:
+
+"{message}"
+
+Определи, содержит ли текст общие фразы, которые не объясняют, как клиенту будет полезен продукт или услуга.
+
+Если такие утверждения есть, верни JSON {{"decision": true}}; если таких утверждений нет, верни JSON {{"decision": false}}.
+
+Перед ответом убедись, что отвечаешь в формате JSON.
+
+Пример ответа:
+
+{{"decision": true}}'''
+
+    response = generate_message_mistral(prompt)
+    print("Mistral response:", response)
+    try:
+        result = json.loads(response)
+        decision = result.get("decision", False)
+        return decision
+    except Exception as e:
+        print(f"Ошибка при разборе JSON: {e}")
+        return None
 
 # 26. Проверка на узкоспециализированные термины
-def check_specialized_terms(sms, parser):
-    task = '''Проверь текст на наличие узкоспециализированных терминов, которые могут быть непонятны широкой аудитории. 
-    Верни ответ в виде JSON с полями reasoning в виде строки и decision в виде True или False.'''
-    
-    return check_with_m(task, sms, parser)
+def check_specialized_terms(message):
+    prompt = f'''Проверь следующий текст на наличие узкоспециализированных терминов, которые могут быть непонятны широкой аудитории:
+
+"{message}"
+
+Если в тексте есть такие термины, верни JSON {{"decision": true}}; если таких терминов нет, верни JSON {{"decision": false}}.
+
+Перед ответом убедись, что отвечаешь в формате JSON.
+
+Пример ответа:
+
+{{"decision": false}}'''
+
+    response = generate_message_mistral(prompt)
+    print("Mistral response:", response)
+    try:
+        result = json.loads(response)
+        decision = result.get("decision", False)
+        return decision
+    except Exception as e:
+        print(f"Ошибка при разборе JSON: {e}")
+        return None
+
 
 # 27. Проверка на двусмысленные или обидные фразы
-def check_offensive_phrases(sms, parser):
-    task = '''Проверь текст на наличие фраз, которые могут быть истолкованы двусмысленно или вызвать негативные эмоции у читателя. 
-    Определи, есть ли в тексте выражения, которые могут быть восприняты как оскорбительные, обидные или неуместные. 
-    Верни ответ в виде JSON с полями reasoning в виде строки и decision в виде True или False.'''
-    
-    return check_with_m(task, sms, parser)
+def check_offensive_phrases(message):
+    prompt = f'''Проверь следующий текст на наличие фраз, которые могут быть истолкованы двусмысленно или вызвать негативные эмоции у читателя:
+
+"{message}"
+
+Определи, есть ли в тексте выражения, которые могут быть восприняты как оскорбительные, обидные или неуместные.
+
+Если такие фразы есть, верни JSON {{"decision": true}}; если таких фраз нет, верни JSON {{"decision": false}}.
+
+Перед ответом убедись, что отвечаешь в формате JSON.
+
+Пример ответа:
+
+{{"decision": true}}'''
+
+    response = generate_message_mistral(prompt)
+    print("Mistral response:", response)
+    try:
+        result = json.loads(response)
+        decision = result.get("decision", False)
+        return decision
+    except Exception as e:
+        print(f"Ошибка при разборе JSON: {e}")
+        return None
+
 
 # 28. Проверка на речевые клише, рекламные штампы и канцеляризмы
-def check_cliches_and_bureaucratese(sms, parser):
-    task = '''Проверь текст на наличие речевых клише, рекламных штампов и канцеляризмов, которые делают текст менее выразительным и оригинальным. 
-    Верни ответ в виде JSON с полями reasoning в виде строки и decision в виде True или False.'''
-    
-    return check_with_m(task, sms, parser)
+def check_cliches_and_bureaucratese(message):
+    prompt = f'''Проверь следующий текст на наличие речевых клише, рекламных штампов и канцеляризмов, которые делают текст менее выразительным и оригинальным:
+
+"{message}"
+
+Если в тексте есть такие выражения, верни JSON {{"decision": true}}; если таких выражений нет, верни JSON {{"decision": false}}.
+
+Перед ответом убедись, что отвечаешь в формате JSON.
+
+Пример ответа:
+
+{{"decision": false}}'''
+
+    response = generate_message_mistral(prompt)
+    print("Mistral response:", response)
+    try:
+        result = json.loads(response)
+        decision = result.get("decision", False)
+        return decision
+    except Exception as e:
+        print(f"Ошибка при разборе JSON: {e}")
+        return None
+
 
 # ФУНКЦИИ ПРОВЕРОК (КОНЕЦ)