Update app.py

app.py

@@ -17,7 +17,7 @@ def log_message(message):
 
 
 # Wait for the server to start
-
+time.sleep(10)
 llm = Ollama(model="llama3.1")
 log_message("Модель Ollama 'llama3.1' инициализирована.")
 
@@ -53,38 +53,40 @@ def delete_faiss_index():
         log_message(f"Ошибка при удалении FAISS индекса: {response.json().get('detail')}")
         return {"status": "error", "message": response.json().get("detail", "Ошибка при удалении FAISS индекса.")}
 
-
-def upload_file_vdb(file):
-    log_message("Загружаем файл")
-    API_URL = f"{VECTOR_API_URL}/upload/"
-
-    file_path = file
-    file_name = os.path.basename(file_path)
-
-    # Открываем файл в бинарном режиме
-    with open(file_path, 'rb') as f:
-        files = {'file': (file_name, f)}
-        response = requests.post(API_URL, files=files)
-
-    # Обработка ответа от сервера
-    if response.status_code == 200:
-        log_message("Файл успешно загружен.")
-        return "Файл успешно загружен."
-    else:
-        log_message(f"Ошибка при загрузке файла: {response.json().get('detail')}")
-        return f"Ошибка: {response.json().get('detail')}"
-
-
-def generate_response(user_query, context):
-    log_message(f"Генерация ответа на запрос: {user_query}")
+#
+# def upload_file_vdb(file):
+#     log_message("Загружаем файл")
+#     API_URL = f"{VECTOR_API_URL}/upload/"
+#
+#     file_path = file
+#     file_name = os.path.basename(file_path)
+#
+#     # Открываем файл в бинарном режиме
+#     with open(file_path, 'rb') as f:
+#         files = {'file': (file_name, f)}
+#         response = requests.post(API_URL, files=files)
+#
+#     # Обработка ответа от сервера
+#     if response.status_code == 200:
+#         log_message("Файл успешно загружен.")
+#         return "Файл успешно загружен."
+#     else:
+#         log_message(f"Ошибка при загрузке файла: {response.json().get('detail')}")
+#         return f"Ошибка: {response.json().get('detail')}"
+
+
+def generate_responses(user_queries, context):
+    log_message(f"Генерация ответов на {len(user_queries)} запросов")
     prompt = ChatPromptTemplate.from_template(template)
 
-    log_message(f"Контекст из базы данных: {context[:100]}...")
-    full_prompt = prompt.format(context=context, input=user_query)
+    # Формируем список полных промптов для каждого запроса
+    full_prompts = [prompt.format(context=context, input=query) for query in user_queries]
+
+    # Используем llm.batch для получения ответов на все промпты
+    responses = llm.batch(full_prompts)
+    log_message("Ответы сгенерированы.")
+    return responses
 
-    response = llm.invoke(full_prompt)
-    log_message(f"Сгенерированный ответ: {response}")
-    return response
 
 
 def process_comments(ACCESS_TOKEN, user_context):
@@ -103,15 +105,16 @@ def process_comments(ACCESS_TOKEN, user_context):
     log_message(f"ID страницы: {page_id}")
 
     processed_posts = []
-    processed_comment_ids = set()  # Отслеживание обработанных комментариев
+    processed_comment_ids = set()
+
+    all_comments = []
+    all_comment_ids = []
 
     for post_data in posts_with_unanswered_comments:
         post_id = post_data['post_id']
         post_message = post_data['post_message']
         unanswered_comments = post_data['unanswered_comments']
 
-        post_replies = []
-
         for comment in unanswered_comments:
             comment_id = comment['id']
             if comment_id in processed_comment_ids:
@@ -120,24 +123,34 @@ def process_comments(ACCESS_TOKEN, user_context):
             processed_comment_ids.add(comment_id)
 
             message = comment['message']
-            log_message(f"Обработка комментария: {message}")
-
-            response_message = generate_response(message, context=user_context)
-            log_message(f"Ответ на комментарий: {response_message}")
-            success = reply_comment(comment_id=comment['id'], message=response_message, token=ACCESS_TOKEN)
-            if success:
-                post_replies.append({
-                    'comment_id': comment['id'],
-                    'comment_message': comment['message'],
-                    'reply_message': response_message
-                })
+            log_message(f"Добавление комментария для обработки: {message}")
+
+            # Добавляем комментарий и его ID в списки
+            all_comments.append(message)
+            all_comment_ids.append(comment_id)
+
+    # Генерируем ответы на ��се комментарии батчем
+    responses = generate_responses(all_comments, context=user_context)
+
+    # Отправляем ответы на соответствующие комментарии
+    for comment_id, response_message in zip(all_comment_ids, responses):
+        log_message(f"Ответ на комментарий {comment_id}: {response_message}")
+        success = reply_comment(comment_id=comment_id, message=response_message, token=ACCESS_TOKEN)
+        if success:
+            log_message(f"Успешно отправлен ответ на комментарий {comment_id}")
+        else:
+            log_message(f"Ошибка при отправке ответа на комментарий {comment_id}")
 
+    # Формируем информацию о обработанных постах
+    for post_data in posts_with_unanswered_comments:
+        post_id = post_data['post_id']
+        post_message = post_data['post_message']
         processed_posts.append({
             'post_id': post_id,
             'post_message': post_message,
             'hidden_comments': next(
                 (item['hidden_comments'] for item in hidden_comments_data if item['post_id'] == post_id), []),
-            'replies': post_replies
+            # Вы можете добавить дополнительную информацию, если необходимо
         })
 
     return {
@@ -146,6 +159,7 @@ def process_comments(ACCESS_TOKEN, user_context):
     }
 
 
+
 with gr.Blocks() as demo:
     with gr.Tab("Главная страница"):
         gr.Markdown("# Facebook Comment Filter")
@@ -173,4 +187,5 @@ if __name__ == "__main__":
         debug=True,
         server_port=7860,
         server_name="0.0.0.0",
+
     )