Update app.py

app.py

@@ -21,6 +21,7 @@ from sklearn.feature_extraction.text import TfidfVectorizer
 from sklearn.metrics.pairwise import cosine_similarity
 from sentence_transformers import SentenceTransformer, util
 import numpy as np
+from mistralai import Mistral
 
 
 morph = pymorphy2.MorphAnalyzer()
@@ -30,10 +31,14 @@ openai_api_key = os.getenv('GPT_KEY')
 gc_key = os.getenv('GC_KEY')
 token = os.getenv('GITHUB_TOKEN')
 TOGETHER_API_KEY = os.getenv('TOGETHER_API_KEY')
+MISTRAL_API_KEY = os.getenv('MISTRAL_API_KEY')
 
 # Инициализация клиента для Together
 client = Together(api_key=TOGETHER_API_KEY)
 
+# Инициализация клиента для Mistral
+client_mistral = Mistral(api_key=MISTRAL_API_KEY)
+
 # Авторизация в сервисе GigaChat
 chat_pro = GigaChat(credentials=gc_key, model='GigaChat-Pro', max_tokens=68, temperature=1.15, verify_ssl_certs=False)
 chat_lite = GigaChat(credentials=gc_key, model='GigaChat', max_tokens=68, temperature=1.15, verify_ssl_certs=False)
@@ -841,10 +846,10 @@ def adapt_messages_to_best_example(
         # Шаблон промпта (без изменений)
         prompt_template = (
             "Сообщение для адаптации:\n\"{personalized_message}\"\n\n"
-            "Эталонное сообщение (НЕ ИСПОЛЬЗУЙ ФАКТЫ ИЛИ ДАННЫЕ ИЗ НИЖЕПРИВЕДЕННОГО СООБЩЕНИЯ):\n\"{reference_message}\"\n\n"
+            "Пример (НЕ ИСПОЛЬЗУЙ ФАКТЫ ИЛИ ДАННЫЕ ИЗ НИЖЕПРИВЕДЕННОГО СООБЩЕНИЯ):\n\"{reference_message}\"\n\n"
             "1. Перепиши сообщение для адаптации, сохранив его смысл."
-            "2. Используй стиль, построение предложений и лексику, максимально похожие на эталонное сообщение."
-            "3. НЕ ДОБАВЛЯЙ факты, цифры, или любую информацию из эталонного сообщения."
+            "2. Используй стиль, построение предложений и лексику, максимально похожие на пример."
+            "3. НЕ ДОБАВЛЯЙ факты, цифры, или любую информацию из примера."
             "4. Убедись, что итоговое сообщение содержит ТОЛЬКО информацию из сообщения для адаптации и адаптировано по стилю и структуре."
             "5. Проверь, что итоговое сообщение включает следующую информацию: \n\"{key_message}\"\n"
         )
@@ -929,10 +934,10 @@ def update_best_example_prompt(description, *selected_values):
         best_prompt = "Эталонное сообщение не найдено для выбранных параметров персонализации."
     else:
         best_prompt = (
-            "Эталонное сообщение (НЕ ИСПОЛЬЗУЙ ФАКТЫ ИЛИ ДАННЫЕ ИЗ НИЖЕПРИВЕДЕННОГО СООБЩЕНИЯ):\n\"{reference_message}\"\n\n"
+            "Пример (НЕ ИСПОЛЬЗУЙ ФАКТЫ ИЛИ ДАННЫЕ ИЗ НИЖЕПРИВЕДЕННОГО СООБЩЕНИЯ):\n\"{reference_message}\"\n\n"
             "1. Перепиши сообщение для адаптации, сохранив его смысл.\n"
-            "2. Используй стиль, построение предложений и лексику, максимально похожие на эталонное сообщение.\n"
-            "3. НЕ ДОБАВЛЯЙ факты, цифры, или любую информацию из эталонного сообщения.\n"
+            "2. Используй стиль, построение предложений и лексику, максимально похожие на пример.\n"
+            "3. НЕ ДОБАВЛЯЙ факты, цифры, или любую информацию из примера.\n"
             "4. Убедись, что итоговое сообщение содержит ТОЛЬКО информацию из сообщения для адаптации и адаптировано по стилю и структуре."
         ).format(reference_message=reference_message)
 
@@ -1165,6 +1170,35 @@ def generate_message_meta_llama_3_1_405b_with_retry(prompt):
             return correct_dash_usage(message)
     return message
 
+def generate_message_mistral(prompt, max_retries=5):
+    retries = 0
+    while retries < max_retries:
+        try:
+            chat_response = client_mistral.chat.complete(
+                model="mistral-large-latest",
+                messages=[
+                    {
+                        "role": "user",
+                        "content": prompt
+                    },
+                ],
+                max_tokens=3000,  # Увел��чено до 3000
+                temperature=0.2,
+                stop=["}"]  # Останавливаем генерацию после закрывающей скобки
+            )
+            cleaned_message = chat_response.choices[0].message.content.strip()
+            return cleaned_message
+        except Exception as e:
+            if "Status 429" in str(e):
+                wait_time = 3  # Можно установить фиксированную задержку
+                print(f"Превышен лимит запросов. Ожидание {wait_time} секунд перед повторной попыткой...")
+                time.sleep(wait_time)
+                retries += 1
+            else:
+                print(f"Ошибка при обращении к Mistral: {e}")
+                return None
+    print("Ошибка: превышено количество попыток обращения к Mistral")
+    return None
 
 def generate_messages(description, advantages, key_message, approach, *selected_values):
     
@@ -2055,8 +2089,269 @@ def check_no_word_repetitions(message):
     # Если мы дошли до этой точки, повторов не было
     return True
 
+# Проверки на LLM
+
+def parse_json_response(response):
+    try:
+        # Попытка найти JSON-подобную структуру в ответе
+        match = re.search(r'\{.*', response)
+        if match:
+            json_str = match.group(0)
+            # Проверяем и добавляем недостающие кавычки и скобки
+            if json_str.count('"') % 2 != 0:
+                json_str += '"'
+            if json_str.count('{') > json_str.count('}'):
+                json_str += '}'
+            result = json.loads(json_str)
+            return result
+        else:
+            print("JSON не найден в ответе")
+            return None
+    except Exception as e:
+        print(f"Ошибка при разборе JSON: {e}")
+        return None
+
+def cut_message(message):
+    # Удаляем любой дополнительный текст, например, "------\nКоличество знаков: ..."
+    # Разделяем сообщение по '------' и берем первую часть
+    if '------' in message:
+        message = message.split('------')[0].strip()
+    return message
+        
+# 22. Проверка сложных предложений без логической связи
+def check_disconnected_sentences(message):
+    message_clean = cut_message(message)
+    print()
+    print()
+    print("СООБЩЕНИЕ:", message_clean)
+    print()
+    print("Проверка 22: Проверка сложных предложений без логической связи")
+    print()
+    prompt = f'''Проверь следующий текст на наличие сложных предложений, где отсутствует логическая связь между частями:
+"{message_clean}"
+Определи, есть ли в тексте предложения с несколькими частями, которые кажутся несвязанными, не поддерживают общую мысль или делают текст трудным для понимания.
+
+Обрати внимание, что в контексте коротких рекламных сообщений допустимы краткие предложения, перечисления и фразы, которые вместе передают связную информацию о продукте или услуге. Не считай такие сообщения несвязанными, если их части логически связаны с предложением продукта или условиями его получения.
+
+Пример ответа:
+{{"decision": false, "explanation": "Текст понятен, и все предложения логически связаны между собой."}}
+
+Если в тексте **есть** сложные предложения без логической связи между частями, **верни только** JSON {{"decision": true, "explanation": "<пояснение>"}};
+если таких предложений **нет**, **верни только** JSON {{"decision": false, "explanation": "<пояснение>"}}.
+
+**Не добавляй никакого дополнительного текста. Перед ответом убедись, что отвечаешь **только** в формате JSON с закрывающими кавычками и скобками.**'''
+
+    response = generate_message_mistral(prompt)
+    time.sleep(3)  # Задержка в 3 секунды между запросами
+    print("Mistral response:", response)  # Выводим полный ответ модели
+    result = parse_json_response(response)
+    if result is not None:
+        decision = result.get("decision", False)
+        explanation = result.get("explanation", "")
+        print("Explanation:", explanation)
+        return not decision  # Инвертируем логику
+    else:
+        return None
+
+# 23. Проверка на близкие по смыслу однородные члены
+def check_synonymous_members(message):
+    print()
+    print("Проверка 23: Проверка на близкие по смыслу однородные члены")
+    print()
+    message_clean = cut_message(message)
+    prompt = f'''Проверь следующий текст на наличие однородных членов предложения, которые имеют одинаковый или практически одинаковый смысл и повторяют одну и ту же идею:
+"{message_clean}"
+Определи, есть ли в предложении несколько слов или выражений, которые являются синонимами и используются вместе без необходимости, создавая избыточность.
+Обрати внимание, что слова или выражения, которые дополняют друг друга и описывают разные аспекты продукта или услуги, не считаются проблемой.
+Пример ответа:
+{{"decision": true, "explanation": "В предложении используются синонимы 'быстрый' и 'скорый', которые повторяют одну и ту же идею."}}
+Если такие слова или выражения есть, **верни только** JSON {{"decision": true, "explanation": "<пояснение>"}};
+если таких слов или выражений нет, **верни только** JSON {{"decision": false, "explanation": "<пояснение>"}}.
+**Не добавляй никакого дополнительного текста. Перед ответом убедись, что отвечаешь только в формате JSON с закрывающими кавычками и скобками.**'''
+
+    response = generate_message_mistral(prompt)
+    time.sleep(3)
+    print("Mistral response:", response)
+    result = parse_json_response(response)
+    if result is not None:
+        decision = result.get("decision", False)
+        explanation = result.get("explanation", "")
+        print("Explanation:", explanation)
+        return not decision  # Инвертируем логику
+    else:
+        return None
+
+# 24. Проверка на шокирующие, экстравагантные или кликбейтные фразы
+def check_clickbait_phrases(message):
+    print()
+    print("Проверка 24: Проверка на шокирующие, экстравагантные или кликбейтные фразы")
+    print()
+    message_clean = cut_message(message)
+    prompt = f'''Проверь следующий текст на наличие шокирующих, экстравагантных или кликбейтных фраз:
+"{message_clean}"
+Укажи, если текст содержит утверждения, которые:
+- стремятся вызвать чрезмерно сильные эмоции (например, шок, страх, недоверие);
+- используют явные преувеличения, необоснованные заявления или сенсационные выражения;
+- содержат провокационные или вводящие в заблуждение формулировки, которые побуждают к немедленному действию без достаточных оснований.
+Обрати внимание, что стандартные рекламные призывы к действию и информативные предложения не считаются кликбейтом.
+Пример ответа:
+{{"decision": false, "explanation": "Текст нейтрален и не содержит кликбейтных фраз."}}
+Если такие фразы есть, **верни только** JSON {{"decision": true, "explanation": "<пояснение>"}};
+если таких фраз нет, **верни только** JSON {{"decision": false, "explanation": "<пояснение>"}}.
+**Не добавляй никакого дополнительного текста. Перед ответом убедись, что отвечаешь только в формате JSON с закрывающими кавычками и скобками.**'''
+
+    response = generate_message_mistral(prompt)
+    time.sleep(3)
+    print("Mistral response:", response)
+    result = parse_json_response(response)
+    if result is not None:
+        decision = result.get("decision", False)
+        explanation = result.get("explanation", "")
+        print("Explanation:", explanation)
+        return not decision  # Инвертируем логику
+    else:
+        return None
+
+# 25. Проверка на абстрактные заявления без поддержки фактами
+def check_abstract_claims(message):
+    print()
+    print("Проверка 25: Проверка на абстрактные заявления без поддержки фактами")
+    print()
+    message_clean = cut_message(message)
+    prompt = f'''Проверь следующий текст на наличие чрезмерно абстрактных утверждений, которые не подкреплены фактами, данными или конкретными примерами, и могут затруднять понимание пользы продукта или услуги:
+"{message_clean}"
+Определи, содержит ли текст общие фразы, которые не объясняют, как клиенту будет полезен продукт или услуга, и при этом являются настолько неопределенными, что затрудняют понимание.
+Учти, что в контексте коротких рекламных сообщений допустимы общие фразы, если они достаточно ясно передают ценность предложения.
+Пример ответа:
+{{"decision": true, "explanation": "Текст содержит общие заявления без конкретики, такие как 'лучшее решение для вашего бизнеса'."}}
+Если такие чрезмерно абстрактные утверждения есть, **верни только** JSON {{"decision": true, "explanation": "<пояснение>"}};
+если таких утверждений нет, **верни только** JSON {{"decision": false, "explanation": "<пояснение>"}}.
+**Не добавляй никакого дополнительного текста. Перед ответом убедись, что отвечаешь только в формате JSON с закрывающими кавычками и скобками.**'''
+
+    response = generate_message_mistral(prompt)
+    time.sleep(3)
+    print("Mistral response:", response)
+    result = parse_json_response(response)
+    if result is not None:
+        decision = result.get("decision", False)
+        explanation = result.get("explanation", "")
+        print("Explanation:", explanation)
+        return not decision  # Инвертируем логическое значение
+    else:
+        return None
+
+# 26. Проверка на узкоспециализированные термины
+def check_specialized_terms(message):
+    print()
+    print("Проверка 26: Проверка на узкоспециализированные термины")
+    print()
+    message_clean = cut_message(message)
+    prompt = f'''Проверь следующий текст на наличие узкоспециализированных терминов или жаргона, которые могут быть непонятны широкой аудитории:
+"{message_clean}"
+Определи, содержит ли текст термины, которые известны только специалистам в определенной области и могут вызвать затруднения у обычных читателей.
+Учти, что общеупотребительные названия продуктов, услуг или общепринятые термины (например, "кредитная карта", "интернет-банк", "Mastercard") не считаются узкоспециализированными и могут использоваться.
+Пример ответа:
+{{"decision": false, "explanation": "В тексте отсутствуют узкоспециализированные термины."}}
+Если в тексте есть такие узкоспециализированные термины, **верни только** JSON {{"decision": true, "explanation": "<пояснение>"}};
+если таких терминов нет, **верни только** JSON {{"decision": false, "explanation": "<пояснение>"}}.
+**Не добавляй никакого дополнительного текста. Перед ответом убедись, что отвечаешь только в формате JSON с закрывающими кавычками и скобками.**'''
+
+    response = generate_message_mistral(prompt)
+    time.sleep(3)
+    print("Mistral response:", response)
+    result = parse_json_response(response)
+    if result is not None:
+        decision = result.get("decision", False)
+        explanation = result.get("explanation", "")
+        print("Explanation:", explanation)
+        return not decision  # Инвертируем логическое значение
+    else:
+        return None
+
+# 27. Проверка на двусмысленные или обидные фразы
+def check_offensive_phrases(message):
+    print()
+    print("Проверка 27: Проверка на двусмысленные или обидные фразы")
+    print()
+    message_clean = cut_message(message)
+    prompt = f'''Проверь следующий текст на наличие фраз, которые могут быть истолкованы двусмысленно или вызвать негативные эмоции у читателя:
+"{message_clean}"
+Определи, есть ли в тексте выражения, которые могут быть восприняты как оскорбительные, обидные или неуместные.
+Обрати внимание, что фразы, используемые в обычном деловом контексте и не содержащие явных оскорблений, дискриминации или непристойностей, не считаются проблемными.
+Например, фразы, объясняющие преимущества продукта, такие как "без отчётов и комиссий", являются допустимыми.
+Пример ответа:
+{{"decision": false, "explanation": "Текст не содержит обидных или двусмысленных фраз."}}
+Если такие фразы есть, **верни только** JSON {{"decision": true, "explanation": "<пояснение>"}};
+если таких фраз нет, **верни только** JSON {{"decision": false, "explanation": "<пояснение>"}}.
+**Не добавляй никакого дополнительного текста. Перед ответом убедись, что отвечаешь только в формате JSON с закрывающими кавычками и скобками.**'''
+
+    response = generate_message_mistral(prompt)
+    time.sleep(3)
+    print("Mistral response:", response)
+    result = parse_json_response(response)
+    if result is not None:
+        decision = result.get("decision", False)
+        explanation = result.get("explanation", "")
+        print("Explanation:", explanation)
+        return not decision  # Инвертируем логическое значение
+    else:
+        return None
+
+# 28. Проверка на речевые клише, рекламные штампы и канцеляризмы
+def check_cliches_and_bureaucratese(message):
+    print()
+    print("Проверка 28: Проверка на речевые клише, рекламные штампы и канцеляризмы")
+    print()
+    message_clean = cut_message(message)
+    prompt = f'''Проверь следующий текст на наличие речевых клише, излишне употребляемых фраз, рекламных штампов и канцеляризмов, которые делают текст менее выразительным и оригинальным. Обрати внимание **только** на выражения, которые являются избитыми штампами, чрезмерно используемыми и не несущими дополнительной ценности для текста.
+
+В контексте рекламных SMS допустимы стандартные фразы и призывы к действию, необходимые для ясности и краткости сообщения, такие как предложения о покупке, описания условий и способов оформления услуг.
+
+**Не считай клише или канцеляризмами следующие типы выражений:**
+
+- Стандартные призывы к действию (например, "Получите", "Оформите", "Закажите сейчас").
+
+- Информацию о ценах, скидках, акциях или условиях покупки (например, "при покупках от 100 000 рублей в месяц").
+
+- Описания способов оформления или получения услуг (например, "оформление возможно онлайн или в офисе").
+
+- Стандартные отраслевые термины и фразы, необходимые для понимания сообщения (например, "премиальная бизнес-карта", "Mastercard Preffered").
+
+**Считай клише или канцеляризмами выражения, которые:**
+
+- Чрезмерно обобщены и не несут конкретной информации (например, "лучшее решение для вашего бизнеса").
+
+- Используют излишне формальный или усложненный язык без необходимости (например, "высококачественный спектр услуг").
+
+- Являются избитыми фразами, не добавляющими ценности сообщению (например, "мы заботимся о вас", "качество проверенное временем").
+
+"{message_clean}"
+
+Пример ответа:
+
+{{"decision": false, "explanation": "Текст не содержит клише или канцеляризмов."}}
+
+Если в тексте **нет** таких выражений, **верни только** JSON {{"decision": false, "explanation": "<пояснение>"}};
+
+если в тексте **есть** такие выражения, **верни только** JSON {{"decision": true, "explanation": "<пояснение>"}}.
+
+**Не добавляй никакого дополнительного текста. Перед ответом убедись, что отвечаешь только в формате JSON с закрывающими кавычками и скобками.**'''
+
+    response = generate_message_mistral(prompt)
+    time.sleep(3)
+    print("Mistral response:", response)
+    result = parse_json_response(response)
+    if result is not None:
+        decision = result.get("decision", False)
+        explanation = result.get("explanation", "")
+        print("Explanation:", explanation)
+        return not decision
+    else:
+        return None
+
 # ФУНКЦИИ ПРОВЕРОК (КОНЕЦ)
 
+
 def safe_check(func, message):
     try:
         return func(message)
@@ -2084,7 +2379,15 @@ def perform_checks(message):
         "derived_prepositions": safe_check(check_no_derived_prepositions, message),
         "compound_sentences": safe_check(check_no_compound_sentences, message),
         "dates_written_out": safe_check(check_no_dates_written_out, message),
-        "no_word_repetitions": safe_check(check_no_word_repetitions, message)
+        "no_word_repetitions": safe_check(check_no_word_repetitions, message),
+        # Проверки на LLM
+        "disconnected_sentences": safe_check(check_disconnected_sentences, message),
+        "synonymous_members": safe_check(check_synonymous_members, message),
+        "clickbait_phrases": safe_check(check_clickbait_phrases, message),
+        "abstract_claims": safe_check(check_abstract_claims, message),
+        "specialized_terms": safe_check(check_specialized_terms, message),
+        "offensive_phrases": safe_check(check_offensive_phrases, message),
+        "cliches_and_bureaucratese": safe_check(check_cliches_and_bureaucratese, message)
     }
     return checks
 
@@ -2109,7 +2412,15 @@ def format_checks(checks):
         "derived_prepositions": "Производные предлоги",
         "compound_sentences": "Сложноподчиненные предложения",
         "dates_written_out": "Даты прописью",
-        "no_word_repetitions": "Повторы слов"
+        "no_word_repetitions": "Повторы слов",
+        # Проверки на LLM
+        "disconnected_sentences": "Сложные предложения без логической связи",
+        "synonymous_members": "Близкие по смыслу однородные члены предложения",
+        "clickbait_phrases": "Кликбейтные фразы",
+        "abstract_claims": "Абстрактные заявления без доказательств",
+        "specialized_terms": "Узкоспециализированные термины",
+        "offensive_phrases": "Двусмысленные или оскорбительные фразы",
+        "cliches_and_bureaucratese": "Речевые клише, рекламные штампы, канцеляризмы"
     }
     formatted_results = []
     for rule, result in checks.items():
@@ -2298,7 +2609,35 @@ with gr.Blocks() as demo:
                 corrected_gigachat_plus = gr.Textbox(label="Откорректированное сообщение 3", lines=3)
                 corrected_gpt4o = gr.Textbox(label="Откорректированное сообщение 4", lines=3)
                 corrected_meta_llama_405b = gr.Textbox(label="Откорректированное сообщение 5", lines=3)
-            
+
+            # Добавляем ряд с рейтингами
+            with gr.Row():
+                rating_gigachat_pro = gr.Dropdown(
+                    choices=["1", "2", "3"], 
+                    label="Рейтинг сообщения 1",
+                    value="1"  # Значение по умолчанию
+                )
+                rating_gigachat_lite = gr.Dropdown(
+                    choices=["1", "2", "3"], 
+                    label="Рейтинг сообщения 2",
+                    value="1"
+                )
+                rating_gigachat_plus = gr.Dropdown(
+                    choices=["1", "2", "3"], 
+                    label="Рейтинг сообщения 3",
+                    value="1"
+                )
+                rating_gpt4o = gr.Dropdown(
+                    choices=["1", "2", "3"], 
+                    label="Рейтинг сообщения 4",
+                    value="1"
+                )
+                rating_meta_llama_405b = gr.Dropdown(
+                    choices=["1", "2", "3"], 
+                    label="Рейтинг сообщения 5",
+                    value="1"
+                )
+
             # Пятый ряд: кнопки сохранения
             with gr.Row():
                 save_gigachat_pro_btn = gr.Button("Сохранить в базу")
@@ -3335,5 +3674,4 @@ with gr.Blocks() as demo:
         ]
     )
 
-    demo.launch()
-    
+    demo.launch()