test

EmbeddingGenerator.py

@@ -0,0 +1,52 @@
+#EmbeddingGenerator.py
+
+from transformers import AutoTokenizer, AutoModel
+from sentence_transformers import SentenceTransformer
+import torch
+import numpy as np
+import warnings
+warnings.filterwarnings("ignore", category=UserWarning, module="transformers.models.bert")
+import os
+os.environ["TOKENIZERS_PARALLELISM"] = "false"
+
+
+class EmbeddingGenerator:
+    def __init__(self, pavlov_model_name="DeepPavlov/rubert-base-cased", sentence_transformer_model_name="cointegrated/rubert-tiny2"):
+        """
+        Инициализирует токенизатор и модели для генерации эмбеддингов.
+
+        Args:
+            pavlov_model_name (str): Название модели для загрузки Pavlov модели.
+            sentence_transformer_model_name (str): Название модели SentenceTransformer для генерации эмбеддингов.
+        """
+        self.pavlov_tokenizer = AutoTokenizer.from_pretrained(pavlov_model_name, ignore_mismatched_sizes=True)
+        self.pavlov_model = AutoModel.from_pretrained(pavlov_model_name, ignore_mismatched_sizes=True)
+        self.sentence_transformer_model = SentenceTransformer(sentence_transformer_model_name)
+
+    def generate_embeddings(self, texts, method="pavlov"):
+        """
+        Генерирует эмбеддинги для списка текстов с использованием выбранного метода.
+
+        Args:
+            texts (list of str): Список текстов для генерации эмбеддингов.
+            method (str): Метод генерации эмбеддингов: "pavlov" или "rubert_tiny2".
+
+        Returns:
+            np.ndarray: Эмбеддинги текстов.
+        """
+        if method == "pavlov":
+            # Генерация эмбеддингов с использованием Pavlov модели
+            inputs = self.pavlov_tokenizer(texts, return_tensors="pt", padding=True, truncation=True, max_length=512)
+            with torch.no_grad():
+                outputs = self.pavlov_model(**inputs)
+            # Mean pooling
+            embeddings = outputs.last_hidden_state.mean(dim=1).cpu().numpy()
+        elif method == "rubert_tiny2":
+            # Генерация эмбеддингов с использованием SentenceTransformer
+            embeddings = self.sentence_transformer_model.encode(texts, show_progress_bar=False)
+        else:
+            raise ValueError("Unsupported method. Choose 'pavlov' or 'rubert_tiny2'.")
+
+        return embeddings
+
+

TextAugmentation.py

@@ -0,0 +1,71 @@
+#TextAugmentation.py
+
+from transformers import T5Tokenizer, AutoModelForSeq2SeqLM, MarianMTModel, MarianTokenizer
+import torch
+import os
+os.environ["TOKENIZERS_PARALLELISM"] = "false"
+
+
+class TextAugmentation:
+    def __init__(self, 
+                 paraphrase_model_name="cointegrated/rut5-base-paraphraser",
+                 ru_en_model_name="Helsinki-NLP/opus-mt-ru-en",
+                 en_ru_model_name="Helsinki-NLP/opus-mt-en-ru"):
+        # Инициализация модели для перефразирования
+        self.paraphrase_tokenizer = T5Tokenizer.from_pretrained(paraphrase_model_name, legacy=False)
+        self.paraphrase_model = AutoModelForSeq2SeqLM.from_pretrained(paraphrase_model_name)
+
+        # Инициализация моделей для обратного перевода
+        self.ru_en_tokenizer = MarianTokenizer.from_pretrained(ru_en_model_name)
+        self.ru_en_model = MarianMTModel.from_pretrained(ru_en_model_name)
+        self.en_ru_tokenizer = MarianTokenizer.from_pretrained(en_ru_model_name)
+        self.en_ru_model = MarianMTModel.from_pretrained(en_ru_model_name)
+
+
+    def paraphrase(self, text, num_return_sequences=1):
+        """
+        Перефразирование текста с использованием модели.
+
+        Args:
+            text (str): Исходный текст для перефразирования.
+            num_return_sequences (int): Количество вариантов перефразирования.
+
+        Returns:
+            list[str]: Список вариантов перефразирования текста.
+        """
+        inputs = self.paraphrase_tokenizer([text], max_length=512, truncation=True, return_tensors="pt")
+        outputs = self.paraphrase_model.generate(
+            **inputs,
+            max_length=128,
+            num_return_sequences=num_return_sequences,
+            do_sample=True,
+            temperature=1.2,
+            top_k=50,
+            top_p=0.90
+        )
+        return [self.paraphrase_tokenizer.decode(output, skip_special_tokens=True) for output in outputs]
+
+    def back_translate(self, text):
+        """
+        Выполняет обратный перевод текста: русский -> английский -> русский.
+
+        Args:
+            text (str): Исходный текст для обратного перевода.
+
+        Returns:
+            str: Текст после обратного перевода.
+        """
+        # Перевод с русского на английский
+        inputs = self.ru_en_tokenizer(text, return_tensors="pt", truncation=True, max_length=512)
+        with torch.no_grad():
+            outputs = self.ru_en_model.generate(**inputs)
+            translated_text = self.ru_en_tokenizer.decode(outputs[0], skip_special_tokens=True)
+
+        # Перевод с английского обратно на русский
+        inputs = self.en_ru_tokenizer(translated_text, return_tensors="pt", truncation=True, max_length=512)
+        with torch.no_grad():
+            outputs = self.en_ru_model.generate(**inputs)
+            back_translated_text = self.en_ru_tokenizer.decode(outputs[0], skip_special_tokens=True)
+
+        return back_translated_text
+

app.py

@@ -0,0 +1,178 @@
+# Основные библиотеки
+import os
+import re
+import string
+import warnings
+import numpy as np
+import pandas as pd
+import torch
+# Машинное обучение и обработка текста
+from transformers import AutoTokenizer, AutoModel, AutoModelForSeq2SeqLM, MarianMTModel, MarianTokenizer
+from sentence_transformers import SentenceTransformer, util
+from sklearn.base import BaseEstimator, TransformerMixin
+# FAISS для семантического поиска
+import faiss
+# Лемматизация и морфология
+import pymorphy3
+# Streamlit для создания веб-приложений
+import streamlit as st
+# Кастомные модули
+from EmbeddingGenerator import EmbeddingGenerator
+from TextAugmentation import TextAugmentation
+# LangChain для интеграции GigaChat
+from langchain_community.chat_models.gigachat import GigaChat
+
+# ======= загружаем ранее рассчитанные эмбеддинги и объявляем классы=======
+
+# Инициализация GigaChat с ключом и отключенной проверкой SSL
+giga = GigaChat(
+    credentials="ODk0NDE1ODEtYTJhMi00N2Y1LTk4YWItNGZlNzNkM2QwMDNiOjk5YmVjN2ZjLThmM2EtNDhjYy04OWQ2LWNkOTlhOTNkNGY3NQ==", 
+    verify_ssl_certs=False
+)
+
+augmentor = TextAugmentation()
+embedding_gen = EmbeddingGenerator()
+df=pd.read_csv("movies_data_fixed.csv")
+image_path = "image-2.png"
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+# Загружаем и отображаем картинку
+st.image(image_path, use_container_width=True)
+
+# Заголовок
+st.markdown(
+    """
+    <div class="title">
+        КиноКринж
+    </div>
+    """,
+    unsafe_allow_html=True
+)
+
+# Добавляем окно ввода текста
+user_input = st.text_area("Добавьте описание фильма", "", height=150)
+
+# Слайдер для выбора количества фильмов
+num_results = st.slider('Выберите количество фильмов', min_value=1, max_value=20, value=4)
+
+# Выбор модели
+model_option = st.selectbox('Выберите модель для обработки запроса:', ['cointegrated/rubert-tiny2','DeepPavlov/rubert-base-cased','all-MiniLM-L6-v2', 'paraphrase-MiniLM-L6-v2'])
+
+if model_option!='DeepPavlov/rubert-base-cased':
+    model = SentenceTransformer(model_option)
+
+
+# ======= дополнительная фильтрация для аугментаций (убираем слишком непохожие) =======
+def filter_paraphrases(original, paraphrases, threshold=0.8):
+    original_embedding = model.encode(original)
+    filtered = []
+    for paraphrase in paraphrases:
+        paraphrase_embedding = model.encode(paraphrase)
+        similarity = util.cos_sim(original_embedding, paraphrase_embedding).item()
+        if similarity >= threshold:
+            filtered.append(paraphrase)
+    return filtered
+#======================СЕМПЛ======= =======
+
+
+
+
+
+
+
+
+
+
+# Проверка наличия рекомендованных фильмов
+if 'recommended_movies' not in st.session_state:
+    st.session_state.recommended_movies = []
+
+# Кнопка для поиска
+if st.button('Найти фильм'):
+    if user_input.strip():
+        # Генерация эмбеддинга для запроса
+        if model_option != 'DeepPavlov/rubert-base-cased' and model_option != 'cointegrated/rubert-tiny2':
+            index = faiss.read_index('faiss_index.bin')
+            query_embedding = model.encode([user_input]).astype("float32")
+            faiss.normalize_L2(query_embedding)
+        elif model_option == 'DeepPavlov/rubert-base-cased':
+            index = faiss.read_index('pavlov3.bin')
+            back_translate = augmentor.back_translate(user_input)
+            augmented_query_pavlov = user_input + " " + back_translate
+            query_embedding = embedding_gen.generate_embeddings(augmented_query_pavlov, method="pavlov")
+        elif model_option == 'cointegrated/rubert-tiny2':
+            index = faiss.read_index('rubert2.bin')
+            paraphrase = augmentor.paraphrase(user_input, num_return_sequences=3)
+            filtered_rubert = filter_paraphrases(user_input, paraphrase)
+            augmented_query_rubert = user_input + " " + " ".join(filtered_rubert)
+            query_embedding = embedding_gen.generate_embeddings(augmented_query_rubert, method="rubert_tiny2").reshape(1, -1)
+            faiss.normalize_L2(query_embedding)
+
+        # Поиск ближайших соседей
+        distances, indices = index.search(query_embedding, num_results)
+
+        # Отображение результатов
+        st.write(f"Результаты поиска ({num_results} фильмов):")
+        recommended_movies = []
+        for idx, distance in zip(indices[0], distances[0]):
+            recommended_movies.append({
+                'title': df.iloc[idx]['movie_title'],
+                'description': df.iloc[idx]['description'],
+                'image_url': df.iloc[idx]['image_url'],
+                'page_url': df.iloc[idx]['page_url'],
+                'similarity': distance,
+                'short_description': None,  # Содержимое краткого описания
+                'is_short_description_shown': False  # Флаг для того, чтобы избежать повторного запроса
+            })
+
+        # Сохраняем результаты в session_state
+        st.session_state.recommended_movies = recommended_movies
+
+# Отображение рекомендованных фильмов
+for idx, movie in enumerate(st.session_state.recommended_movies):
+    st.write(f"### {movie['title']}")
+    st.write(f"Описание: {movie['description']}")
+    st.write(f"Схожесть: {movie['similarity']:.4f}")
+
+    # Отображаем картинку постера
+    if movie.get('image_url'):
+        st.image(movie['image_url'], width=200)
+
+    # Добавляем ссылку на страницу фильма
+    if movie.get('page_url'):
+        st.markdown(f"[Перейти на страницу фильма]({movie['page_url']})")
+
+    # Генерируем уникальный ключ с использованием индекса
+    button_key = f"short_description_button_{idx}"  # Уникальный ключ для кнопки
+    if st.button(f"Получить краткое содержание для {movie['title']}", key=button_key):
+        if not movie.get('is_short_description_shown', False):  # Проверяем состояние
+            try:
+                # Отправляем запрос в GigaChat
+                prompt = f"{movie['title']} краткое содержание фильма не более 100 слов"
+                response = giga.invoke(prompt)
+
+                # Извлекаем описание из ответа
+                description = response.content if response else "Описание не найдено."
+                movie['short_description'] = description
+                movie['is_short_description_shown'] = True
+
+            except Exception as e:
+                st.error(f"Ошибка при запросе в GigaChat: {e}")
+
+    # Показываем краткое содержание
+    if movie.get('short_description') and movie.get('is_short_description_shown', False):
+        st.write(f"Краткое содержание для {movie['title']}: {movie['short_description']}")
+
+    st.write("---")

assets/styles.css

@@ -0,0 +1,68 @@
+/* Подключаем шрифт через Google Fonts */
+@import url('https://fonts.googleapis.com/css2?family=Russo+One&display=swap');
+
+/* Фон для страницы */
+body {
+    background-image: url('file:///Users/ser/ds_bootcamp/streamlit/movie_seeker/converted_image.png');
+    background-size: cover;
+    background-position: center;
+    margin: 0;
+    padding: 0;
+}
+
+/* Стили для текста */
+.title {
+    font-family: 'Russo One', sans-serif;
+    font-size: 80px;
+    text-align: center;
+    color: white;
+    margin-top: 10px;
+    text-shadow: 3px 3px 6px rgba(0, 0, 0, 0.7);
+}
+
+/* Стили для окна ввода текста */
+textarea {
+    margin-top: 40px;
+    width: 100%;
+    padding: 10px;
+    font-size: 16px;
+    border-radius: 5px;
+    border: 1px solid #ccc;
+    background-color: #f4f4f4;
+}
+
+/* Стили для кнопки */
+.stCustomButton {
+    background-color: #f08b29;
+    color: white;
+    font-size: 18px;
+    padding: 12px 24px;
+    border: none;
+    border-radius: 5px;
+    cursor: pointer;
+    box-shadow: 0 4px 8px rgba(0, 0, 0, 0.1);
+    transition: background-color 0.3s ease, transform 0.3s ease;
+}
+
+.stCustomButton:hover {
+    background-color: #d9791e;
+    transform: translateY(-3px);
+}
+
+.stCustomButton:active {
+    background-color: #bc6a0a;
+    transform: translateY(0);
+}
+
+/* Стили для фона в шапке */
+.header-image {
+    width: 100%;
+    height: 300px;
+    background-image: url('/Users/ser/ds_bootcamp/streamlit/movie_seeker/Unknown-2.png');
+    background-size: cover;
+    background-position: center;
+    position: absolute;
+    top: 0;
+    left: 0;
+    z-index: -1;
+}

requirements.txt

@@ -0,0 +1,103 @@
+aiohappyeyeballs==2.4.4
+aiohttp==3.11.10
+aiosignal==1.3.1
+altair==5.5.0
+annotated-types==0.7.0
+anyio==4.7.0
+async-timeout==4.0.3
+attrs==24.2.0
+blinker==1.9.0
+cachetools==5.5.0
+certifi==2024.8.30
+charset-normalizer==3.4.0
+click==8.1.7
+dataclasses-json==0.6.7
+DAWG-Python==0.7.2
+exceptiongroup==1.2.2
+faiss-cpu==1.9.0.post1
+filelock @ file:///home/conda/feedstock_root/build_artifacts/filelock_1733240801289/work
+frozenlist==1.5.0
+fsspec @ file:///home/conda/feedstock_root/build_artifacts/fsspec_1729608855534/work
+gigachat==0.1.36
+gitdb==4.0.11
+GitPython==3.1.43
+gmpy2 @ file:///home/conda/feedstock_root/build_artifacts/gmpy2_1733462536562/work
+greenlet==3.1.1
+h11==0.14.0
+httpcore==1.0.7
+httpx==0.28.1
+httpx-sse==0.4.0
+huggingface-hub==0.26.3
+idna==3.10
+Jinja2 @ file:///home/conda/feedstock_root/build_artifacts/jinja2_1733217336947/work
+joblib==1.4.2
+jsonpatch==1.33
+jsonpointer==3.0.0
+jsonschema==4.23.0
+jsonschema-specifications==2024.10.1
+langchain==0.3.10
+langchain-community==0.3.10
+langchain-core==0.3.22
+langchain-text-splitters==0.3.2
+langsmith==0.1.147
+markdown-it-py==3.0.0
+MarkupSafe @ file:///home/conda/feedstock_root/build_artifacts/markupsafe_1733219680183/work
+marshmallow==3.23.1
+mdurl==0.1.2
+mpmath @ file:///home/conda/feedstock_root/build_artifacts/mpmath_1733302684489/work
+multidict==6.1.0
+mypy-extensions==1.0.0
+narwhals==1.15.2
+networkx @ file:///home/conda/feedstock_root/build_artifacts/bld/rattler-build_networkx_1731521053/work
+numpy==1.26.4
+orjson==3.10.12
+packaging==24.2
+pandas==2.2.3
+pillow==11.0.0
+propcache==0.2.1
+protobuf==5.29.1
+pyarrow==18.1.0
+pydantic==2.10.3
+pydantic-settings==2.6.1
+pydantic_core==2.27.1
+pydeck==0.9.1
+Pygments==2.18.0
+pymorphy3==2.0.2
+pymorphy3-dicts-ru==2.4.417150.4580142
+python-dateutil==2.9.0.post0
+python-dotenv==1.0.1
+pytz==2024.2
+PyYAML==6.0.2
+referencing==0.35.1
+regex==2024.11.6
+requests==2.32.3
+requests-toolbelt==1.0.0
+rich==13.9.4
+rpds-py==0.22.3
+safetensors==0.4.5
+scikit-learn==1.5.2
+scipy==1.14.1
+sentence-transformers==3.3.1
+sentencepiece==0.2.0
+six==1.17.0
+smmap==5.0.1
+sniffio==1.3.1
+SQLAlchemy==2.0.36
+streamlit==1.40.2
+sympy==1.13.1
+tenacity==9.0.0
+threadpoolctl==3.5.0
+tokenizers==0.21.0
+toml==0.10.2
+torch==2.5.1+cpu
+torchaudio==2.5.1+cpu
+torchvision==0.20.1+cpu
+tornado==6.4.2
+tqdm==4.67.1
+transformers==4.47.0
+typing-inspect==0.9.0
+typing_extensions @ file:///home/conda/feedstock_root/build_artifacts/typing_extensions_1733188668063/work
+tzdata==2024.2
+urllib3==2.2.3
+watchdog==6.0.0
+yarl==1.18.3