Update func_ai.py

func_ai.py

@@ -3,11 +3,11 @@ import torch
 from transformers import pipeline
 from deep_translator import GoogleTranslator
 import time
-import os 
+import os
 
 VECTOR_API_URL = os.getenv('API_URL')
 
-# Replace the sentiment analysis model
+# Модель для анализа настроений
 sentiment_model = pipeline(
     'sentiment-analysis',
     model='distilbert-base-uncased-finetuned-sst-2-english',
@@ -15,37 +15,6 @@ sentiment_model = pipeline(
     device=0 if torch.cuda.is_available() else -1
 )
 
-classifier = pipeline(
-    "zero-shot-classification",
-    model="valhalla/distilbart-mnli-12-6",
-    device=0 if torch.cuda.is_available() else -1
-)
-
-def classify_comment(text):
-    if not text:
-        print("Received empty text for classification.")
-        return "non-interrogative"
-    print(f"Classifying comment: {text}")
-    try:
-        translated_text = GoogleTranslator(source='auto', target="en").translate(text)
-        print(f"Translated text: {translated_text}")
-    except Exception as e:
-        print(f"Translation failed: {e}")
-        return "non-interrogative"
-    if not translated_text:
-        print("Translation returned empty text.")
-        return "non-interrogative"
-    
-    try:
-        result = classifier(translated_text, ["interrogative", "non-interrogative"], clean_up_tokenization_spaces=True)
-        print(f"Classification result: {result}")
-    except Exception as e:
-        print(f"Classification failed: {e}")
-        return "non-interrogative"
-    
-    top_class = result['labels'][0]
-    print(f"Top class: {top_class}")
-    return top_class
 
 def retrieve_from_vdb(query):
     print(f"Отправка запроса к FastAPI сервису: {query}")
@@ -58,20 +27,18 @@ def retrieve_from_vdb(query):
         print(f"Ошибка при поиске: {response.text}")
         return []
 
-from deep_translator import GoogleTranslator
-import time
 
 def analyze_sentiment(comments):
     print("Начинаем анализ настроений.")
     results = []
-    
+
     for i in range(0, len(comments), 50):
         batch = comments[i:i + 50]
         print(f"Анализируем батч с {i} по {i + len(batch)} комментарий: {batch}")
-        
+
         translated_batch = []
         valid_comments = []  # Список комментариев с успешным переводом
-        
+
         for comment in batch:
             try:
                 translated = GoogleTranslator(source='auto', target="en").translate(comment)
@@ -82,13 +49,13 @@ def analyze_sentiment(comments):
                     print(f"Перевод комментария не удался или вернул пустую строку: {comment}")
             except Exception as e:
                 print(f"Ошибка при переводе комментария '{comment}': {e}")
-        
+
         if not translated_batch:
             print("Все переводы в этом батче не удались. Пропускаем этот батч.")
             continue  # Переходим к следующему батчу, если перевод не удался
-        
+
         print(f"Переведённый батч: {translated_batch}")
-        
+
         try:
             batch_results = sentiment_model(translated_batch)
             print(f"Результаты батча: {batch_results}")
@@ -98,9 +65,8 @@ def analyze_sentiment(comments):
             # Добавляем результат с неопределенным настроением для каждого переведенного комментария
             for _ in translated_batch:
                 results.append({'label': 'UNKNOWN', 'score': 0.0})
-        
+
         time.sleep(1)  # Задержка для предотвращения перегрузки API
-    
+
     print(f"Анализ настроений завершен. Общие результаты: {results}")
     return results
-