Update app.py

app.py

@@ -725,6 +725,13 @@ def get_reference_message(current_description, gender, generation, psychotype, b
     import io
     import numpy as np
     from sentence_transformers import SentenceTransformer
+    from sklearn.metrics.pairwise import cosine_similarity
+    import base64
+    import pandas as pd
+    import requests
+    import re
+
+    # Fetching the data from the repository
     repo = "fruitpicker01/Storage_dev"
     file_path = "messages.csv"
     url = f"https://api.github.com/repos/{repo}/contents/{file_path}"
@@ -741,6 +748,7 @@ def get_reference_message(current_description, gender, generation, psychotype, b
         print(f"Error accessing the file: {response.status_code}")
         return None
 
+    # Cleaning up and filtering the DataFrame
     for col in ["Пол", "Поколение", "Психотип", "Стадия бизнеса", "Отрасль", "ОПФ"]:
         df[col] = df[col].astype(str).str.strip().str.lower()
 
@@ -780,40 +788,36 @@ def get_reference_message(current_description, gender, generation, psychotype, b
 
     filtered_df['Описание предложения'] = filtered_df['Описание предложения'].fillna('')
 
-    # Используем модель для получения эмбеддингов
+    # Using the model to generate embeddings
     model = SentenceTransformer('sergeyzh/rubert-tiny-turbo')
     descriptions = filtered_df['Описание предложения'].tolist()
-    descriptions.insert(0, current_description)  # Добавляем текущее описание
+    descriptions.insert(0, current_description)
 
     embeddings = model.encode(descriptions)
     cosine_similarities = cosine_similarity([embeddings[0]], embeddings[1:]).flatten()
 
-    # Находим максимальное косинусное сходство
-    max_similarity = cosine_similarities.max()
-
-    # Находим индексы с максимальным сходством
-    max_similarity_indices = np.where(cosine_similarities == max_similarity)[0]
+    # Retrieve indices of top two most similar descriptions
+    top_two_indices = np.argsort(cosine_similarities)[-2:][::-1]
 
-    # Получаем строки с максимальным сходством
-    similar_rows = filtered_df.iloc[max_similarity_indices]
+    similar_rows = filtered_df.iloc[top_two_indices]
 
-    # Обработка Timestamp
+    # Processing the messages
+    reference_messages = []
     if 'Timestamp' not in similar_rows.columns:
         print("Столбец 'Timestamp' отсутствует в данных.")
-        similar_row = similar_rows.iloc[0]
     else:
-        similar_rows = similar_rows.copy()
         similar_rows['Timestamp'] = pd.to_numeric(similar_rows['Timestamp'], errors='coerce')
         similar_rows = similar_rows.sort_values(by='Timestamp', ascending=False)
-        similar_row = similar_rows.iloc[0]
 
-    if pd.notnull(similar_row.get("Откорректированное сообщение", None)) and similar_row["Откорректированное сообщение"].strip():
-        reference_message = similar_row["Откорректированное сообщение"]
-    else:
-        reference_message = similar_row.get("Персонализированное сообщение", "")
+    for _, similar_row in similar_rows.iterrows():
+        if pd.notnull(similar_row.get("Откорректированное сообщение", None)) and similar_row["Откорректированное сообщение"].strip():
+            reference_message = similar_row["Откорректированное сообщение"]
+        else:
+            reference_message = similar_row.get("Персонализированное сообщение", "")
+        reference_message = re.sub(r'\n-{6,}\nКоличество знаков: \d+', '', reference_message).strip()
+        reference_messages.append(reference_message)
 
-    reference_message = re.sub(r'\n-{6,}\nКоличество знаков: \d+', '', reference_message).strip()
-    return reference_message
+    return reference_messages[:2]  # Return the top two messages
 
 
 def adapt_messages_to_best_example(
@@ -827,7 +831,7 @@ def adapt_messages_to_best_example(
     approach,
     *selected_values
 ):
-    # Извлечение параметров персонализации (без изменений)
+    # Extract personalization parameters
     gender = selected_values[0]
     generation = selected_values[1]
     psychotype = selected_values[2]
@@ -835,35 +839,40 @@ def adapt_messages_to_best_example(
     industry = selected_values[4]
     legal_form = selected_values[5]
     
-    # Получение эталонного сообщения (без изменений)
-    reference_message = get_reference_message(description, gender, generation, psychotype, business_stage, industry, legal_form)
+    # Get the two most similar reference messages
+    reference_messages = get_reference_message(description, gender, generation, psychotype, business_stage, industry, legal_form)
     
-    if not reference_message:
-        # Если эталонное сообщение не найдено
-        adapted_message = "Эталонное сообщение не найдено для выбранных параметров персонализации."
+    if not reference_messages or len(reference_messages) < 2:
+        # If reference messages are not found
+        adapted_message = "Эталонные сообщения не найдены для выбранных параметров персонализации."
         yield adapted_message, adapted_message, adapted_message, adapted_message, adapted_message
     else:
-        # Шаблон промпта (без изменений)
+        reference_message_1 = reference_messages[0]
+        reference_message_2 = reference_messages[1]
+        
+        # Modify the prompt template to include two reference messages
         prompt_template = (
             "Сообщение для адаптации:\n\"{personalized_message}\"\n\n"
-            "Пример (НЕ ИСПОЛЬЗУЙ ФАКТЫ ИЛИ ДАННЫЕ ИЗ НИЖЕПРИВЕДЕННОГО СООБЩЕНИЯ):\n\"{reference_message}\"\n\n"
-            "1. Перепиши сообщение для адаптации, сохранив его смысл."
-            "2. Используй стиль, построение предложений и лексику, максимально похожие на пример."
-            "3. НЕ ДОБАВЛЯЙ факты, цифры, или любую информацию из примера."
-            "4. Убедись, что итоговое сообщение содержит ТОЛЬКО информацию из сообщения для адаптации и адаптировано по стилю и структуре."
-            "5. Проверь, что итоговое сообщение включает следующую информацию: \n\"{key_message}\"\n"
+            "Пример 1 (НЕ ИСПОЛЬЗУЙ ФАКТЫ ИЛИ ДАННЫЕ ИЗ ПРИМЕРА):\n\"{reference_message_1}\"\n\n"
+            "Пример 2 (НЕ ИСПОЛЬЗУЙ ФАКТЫ ИЛИ ДАННЫЕ ИЗ ПРИМЕРА):\n\"{reference_message_2}\"\n\n"
+            "1. Перепиши сообщение для адаптации, сохранив его смысл.\n"
+            "2. Используй стиль, построение предложений и лексику, максимально похожие на примеры.\n"
+            "3. НЕ ДОБАВЛЯЙ факты, цифры, или любую информацию из примеров.\n"
+            "4. Убедись, что итоговое сообщение содержит ТОЛЬКО информацию из сообщения для адаптации и адаптировано по стилю и структуре.\n"
+            "5. Проверь, что итоговое сообщение включает следующую информацию: \n\"{key_message}\""
         )
-  
-        # Инициализация пустых переменных для сообщений
+
+        # Initialize empty variables for the messages
         adapted_gigachat_pro = ""
         adapted_gigachat_lite = ""
         adapted_gigachat_plus = ""
         adapted_gpt4o = ""
         adapted_meta_llama_405b = ""
         
-        # Адаптация сообщения для GigaChat-Pro
+        # Adapt message for GigaChat-Pro
         prompt = prompt_template.format(
-            reference_message=reference_message,
+            reference_message_1=reference_message_1,
+            reference_message_2=reference_message_2,
             key_message=key_message,
             personalized_message=personalized_gigachat_pro
         )
@@ -872,9 +881,10 @@ def adapt_messages_to_best_example(
         adapted_gigachat_pro_display = f"{adapted_gigachat_pro}\n\n------\nКоличество знаков: {adapted_gigachat_pro_length}"
         yield adapted_gigachat_pro_display, "", "", "", ""
         
-        # Адаптация сообщения для GigaChat-Lite
+        # Adapt message for GigaChat-Lite
         prompt = prompt_template.format(
-            reference_message=reference_message,
+            reference_message_1=reference_message_1,
+            reference_message_2=reference_message_2,
             key_message=key_message,
             personalized_message=personalized_gigachat_lite
         )
@@ -883,9 +893,10 @@ def adapt_messages_to_best_example(
         adapted_gigachat_lite_display = f"{adapted_gigachat_lite}\n\n------\nКоличество знаков: {adapted_gigachat_lite_length}"
         yield adapted_gigachat_pro_display, adapted_gigachat_lite_display, "", "", ""
         
-        # Адаптация сообщения для GigaChat-Plus
+        # Adapt message for GigaChat-Plus
         prompt = prompt_template.format(
-            reference_message=reference_message,
+            reference_message_1=reference_message_1,
+            reference_message_2=reference_message_2,
             key_message=key_message,
             personalized_message=personalized_gigachat_plus
         )
@@ -894,9 +905,10 @@ def adapt_messages_to_best_example(
         adapted_gigachat_plus_display = f"{adapted_gigachat_plus}\n\n------\nКоличество знаков: {adapted_gigachat_plus_length}"
         yield adapted_gigachat_pro_display, adapted_gigachat_lite_display, adapted_gigachat_plus_display, "", ""
         
-        # Адаптация сообщения для GPT-4o
+        # Adapt message for GPT-4o
         prompt = prompt_template.format(
-            reference_message=reference_message,
+            reference_message_1=reference_message_1,
+            reference_message_2=reference_message_2,
             key_message=key_message,
             personalized_message=personalized_gpt4o
         )
@@ -905,9 +917,10 @@ def adapt_messages_to_best_example(
         adapted_gpt4o_display = f"{adapted_gpt4o}\n\n------\nКоличество знаков: {adapted_gpt4o_length}"
         yield adapted_gigachat_pro_display, adapted_gigachat_lite_display, adapted_gigachat_plus_display, adapted_gpt4o_display, ""
         
-        # Адаптация сообщения для Meta-Llama-3.1-405B
+        # Adapt message for Meta-Llama-3.1-405B
         prompt = prompt_template.format(
-            reference_message=reference_message,
+            reference_message_1=reference_message_1,
+            reference_message_2=reference_message_2,
             key_message=key_message,
             personalized_message=personalized_meta_llama_405b
         )
@@ -926,23 +939,29 @@ def update_best_example_prompt(description, *selected_values):
     industry = selected_values[4]
     legal_form = selected_values[5]
     
-    # Retrieve the reference message
-    reference_message = get_reference_message(description, gender, generation, psychotype, business_stage, industry, legal_form)
+    # Retrieve two reference messages
+    reference_messages = get_reference_message(description, gender, generation, psychotype, business_stage, industry, legal_form)
     
-    if not reference_message:
-        # No reference message found
-        best_prompt = "Эталонное сообщение не найдено для выбранных параметров персонализации."
+    if not reference_messages or len(reference_messages) < 2:
+        # No reference messages found
+        best_prompt = "Эталонные сообщения не найдены для выбранных параметров персонализации."
     else:
+        reference_message_1 = reference_messages[0]
+        reference_message_2 = reference_messages[1]
+        
+        # Update the prompt to include two reference messages
         best_prompt = (
-            "Пример (НЕ ИСПОЛЬЗУЙ ФАКТЫ ИЛИ ДАННЫЕ ИЗ НИЖЕПРИВЕДЕННОГО СООБЩЕНИЯ):\n\"{reference_message}\"\n\n"
+            "Пример 1 (НЕ ИСПОЛЬЗУЙ ФАКТЫ ИЛИ ДАННЫЕ ИЗ ПРИМЕРА):\n\"{reference_message_1}\"\n\n"
+            "Пример 2 (НЕ ИСПОЛЬЗУЙ ФАКТЫ ИЛИ ДАННЫЕ ИЗ ПРИМЕРА):\n\"{reference_message_2}\"\n\n"
             "1. Перепиши сообщение для адаптации, сохранив его смысл.\n"
-            "2. Используй стиль, построение предложений и лексику, максимально похожие на пример.\n"
-            "3. НЕ ДОБАВЛЯЙ факты, цифры, или любую информацию из примера.\n"
+            "2. Используй стиль, построение предложений и лексику, максимально похожие на примеры.\n"
+            "3. НЕ ДОБАВЛЯЙ факты, цифры, или любую информацию из примеров.\n"
             "4. Убедись, что итоговое сообщение содержит ТОЛЬКО информацию из сообщения для адаптации и адаптировано по стилю и структуре."
-        ).format(reference_message=reference_message)
+        ).format(reference_message_1=reference_message_1, reference_message_2=reference_message_2)
 
     return best_prompt
 
+
 def adapt_messages_and_perform_checks(
     description_input,
     personalized_gigachat_pro,