Update app.py

app.py

@@ -21,6 +21,10 @@ from sklearn.feature_extraction.text import TfidfVectorizer
 from sklearn.metrics.pairwise import cosine_similarity
 from sentence_transformers import SentenceTransformer, util
 import numpy as np
+from langchain_core.output_parsers import JsonOutputParser
+from pydantic import BaseModel, Field
+from langchain_core.runnables.base import Runnable
+from langchain_mistralai import ChatMistralAI
 
 
 morph = pymorphy2.MorphAnalyzer()
@@ -30,6 +34,7 @@ openai_api_key = os.getenv('GPT_KEY')
 gc_key = os.getenv('GC_KEY')
 token = os.getenv('GITHUB_TOKEN')
 TOGETHER_API_KEY = os.getenv('TOGETHER_API_KEY')
+m_auth = os.getenv('MISTRAL_API_KEY')
 
 # Инициализация клиента для Together
 client = Together(api_key=TOGETHER_API_KEY)
@@ -2055,6 +2060,77 @@ def check_no_word_repetitions(message):
     # Если мы дошли до этой точки, повторов не было
     return True
 
+# Проверки на LLM
+
+class LLMAnswerParser(BaseModel):
+    reasoning: str = Field(description='Рассуждения')
+    decision: bool = Field(description='True или False')
+
+llm = ChatMistralAI(
+    model=model,
+    api_key=m_auth,
+    temperature=0
+)
+
+parser = JsonOutputParser(pydantic_object=LLMAnswerParser)
+
+# 22. Проверка сложных предложений без логической связи
+def check_disconnected_sentences(sms, parser):
+    task = '''Проверь текст на наличие сложных предложений, где отсутствует логическая связь между частями. 
+    Определи, есть ли в тексте предложения с несколькими частями, которые кажутся несвязанными, не поддерживают общую мысль или делают текст трудным для понимания. 
+    Верни ответ в виде JSON с полями reasoning в виде строки и decision в виде True или False.'''
+    
+    return check_with_m(task, sms, parser)
+
+# 23. Проверка на близкие по смыслу однородные члены
+def check_synonymous_members(sms, parser):
+    task = '''Проверь текст на наличие однородных членов предложения, которые имеют близкий или одинаковый смысл. 
+    Определи, есть ли в предложении несколько слов или выражений, которые передают одну и ту же идею или значение, но используются вместе. 
+    Верни ответ в виде JSON с полями reasoning в виде строки и decision в виде True или False.'''
+    
+    return check_with_m(task, sms, parser)
+
+# 24. Проверка на шокирующие, экстравагантные или кликбейтные фразы
+def check_clickbait_phrases(sms, parser):
+    task = '''Проверь СМС на наличие шокирующих, экстравагантных или кликбейтных фраз. 
+    Укажи, если текст содержит утверждения, которые:
+    - стремятся вызвать сильные эмоции (например, шок, страх, удивление);
+    - используют преувеличения, необоснованные заявления или сенсационные выражения;
+    - содержат провокационные формулировки, которые побуждают к немедленному действию или реакции.
+    Верни ответ в виде JSON с полями reasoning в виде строки и decision в виде True или False.'''
+    
+    return check_with_m(task, sms, parser)
+
+# 25. Проверка на абстрактные заявления без поддержки фактами
+def check_abstract_claims(sms, parser):
+    task = '''Проверь текст на наличие абстрактных утверждений, которые не подкреплены фактами, данными или конкретными примерами. 
+    Определи, содержит ли текст общие фразы, которые не объясняют, как клиенту будет полезен продукт или услуга. 
+    Верни ответ в виде JSON с полями reasoning в виде строки и decision в виде True или False.'''
+    
+    return check_with_m(task, sms, parser)
+
+# 26. Проверка на узкоспециализированные термины
+def check_specialized_terms(sms, parser):
+    task = '''Проверь текст на наличие узкоспециализированных терминов, которые могут быть непонятны широкой аудитории. 
+    Верни ответ в виде JSON с полями reasoning в виде строки и decision в виде True или False.'''
+    
+    return check_with_m(task, sms, parser)
+
+# 27. Проверка на двусмысленные или обидные фразы
+def check_offensive_phrases(sms, parser):
+    task = '''Проверь текст на наличие фраз, которые могут быть истолкованы двусмысленно или вызвать негативные эмоции у читателя. 
+    Определи, есть ли в тексте выражения, которые могут быть восприняты как оскорбительные, обидные или неуместные. 
+    Верни ответ в виде JSON с полями reasoning в виде строки и decision в виде True или False.'''
+    
+    return check_with_m(task, sms, parser)
+
+# 28. Проверка на речевые клише, рекламные штампы и канцеляризмы
+def check_cliches_and_bureaucratese(sms, parser):
+    task = '''Проверь текст на наличие речевых клише, рекламных штампов и канцеляризмов, которые делают текст менее выразительным и оригинальным. 
+    Верни ответ в виде JSON с полями reasoning в виде строки и decision в виде True или False.'''
+    
+    return check_with_m(task, sms, parser)
+
 # ФУНКЦИИ ПРОВЕРОК (КОНЕЦ)
 
 def safe_check(func, message):
@@ -2084,7 +2160,15 @@ def perform_checks(message):
         "derived_prepositions": safe_check(check_no_derived_prepositions, message),
         "compound_sentences": safe_check(check_no_compound_sentences, message),
         "dates_written_out": safe_check(check_no_dates_written_out, message),
-        "no_word_repetitions": safe_check(check_no_word_repetitions, message)
+        "no_word_repetitions": safe_check(check_no_word_repetitions, message),
+        # Проверки на LLM
+        "disconnected_sentences": safe_check(check_disconnected_sentences, message),
+        "synonymous_members": safe_check(check_synonymous_members, message),
+        "clickbait_phrases": safe_check(check_clickbait_phrases, message),
+        "abstract_claims": safe_check(check_abstract_claims, message),
+        "specialized_terms": safe_check(check_specialized_terms, message),
+        "offensive_phrases": safe_check(check_offensive_phrases, message),
+        "cliches_and_bureaucratese": safe_check(check_cliches_and_bureaucratese, message)
     }
     return checks
 
@@ -2109,7 +2193,15 @@ def format_checks(checks):
         "derived_prepositions": "Производные предлоги",
         "compound_sentences": "Сложноподчиненные предложения",
         "dates_written_out": "Даты прописью",
-        "no_word_repetitions": "Повторы слов"
+        "no_word_repetitions": "Повторы слов",
+        # Проверки на LLM
+        "disconnected_sentences": "Сложные предложения без логической связи",
+        "synonymous_members": "Близкие по смыслу однородные члены предложения",
+        "clickbait_phrases": "Кликбейтные фразы",
+        "abstract_claims": "Абстрактные заявления без доказательств",
+        "specialized_terms": "Узкоспециализированные термины",
+        "offensive_phrases": "Двусмысленные или оскорбительные фразы",
+        "cliches_and_bureaucratese": "Речевые клише, рекламные штампы, канцеляризмы"
     }
     formatted_results = []
     for rule, result in checks.items():