added wiki parser

app.py

@@ -7,6 +7,7 @@ import requests
 from PIL import Image
 from io import BytesIO
 from langchain_community.chat_models.gigachat import GigaChat
+from bs4 import BeautifulSoup
 
 st.title('Рекомендации сериалов по описанию пользователя с помощью асимметричного семантического поиска')
 st.divider()
@@ -110,7 +111,7 @@ else:
 
 st.subheader(
     'Генерация краткого содержания сериала с помощью SberGigaChat')
-name_of_series = st.text_input('Введите название сериала')
+name_of_series = st.text_input('Введите название сериала', key='1')
 gen_button = st.button('Показать краткое содержание')
 giga = GigaChat(
     credentials='MjA2MGEzNjItZjE0Mi00NWE5LTllMDItMWVjZWRlNDA2ODM0OjNhNzNlZDJmLTY4NWUtNDI1Zi1iZjg4LTkxOWFjMjkxZDg0OA==', verify_ssl_certs=False)
@@ -119,3 +120,56 @@ if gen_button:
         st.write(giga.invoke(
             f"Расскажи cюжет сериала {name_of_series}").content)
 st.divider()
+
+st.subheader('Получение краткого содержания из Википедии')
+
+
+def get_wikipedia_summary(title):
+
+    url = f"https://en.wikipedia.org/api/rest_v1/page/summary/{title}"
+    response = requests.get(url)
+
+    if response.status_code == 200:
+        data = response.json()
+        return data.get('extract', 'Сюжет не найден.')
+    else:
+        return f'Статья не найдена. Статус запроса: {response.status_code}'
+
+
+def get_english_title_from_myshows(russian_title):
+
+    query = russian_title.replace(" ", "+")
+    url = f'https://myshows.me/search/?q={query}#shows'
+    response = requests.get(url)
+
+    if response.status_code != 200:
+        print(f"Ошибка при запросе, статус запроса: {response.status_code}")
+        return None
+
+    soup = BeautifulSoup(response.text, 'lxml')
+
+    english_title = soup.find(class_='ShowCol-titleOriginal').text
+
+    if english_title:
+        return english_title
+    else:
+        print("Не удалось найти оригинальное название")
+        return None
+
+
+name_of_series_2 = st.text_input('Введите название сериала', key='2')
+if 'шерлок' in name_of_series_2.lower():
+    st.error('За Вами выехали', icon="🚨")
+    name_of_series_2 = None
+lang = st.radio('Выберите язык описания', ['Английский', 'Русский'])
+wiki_button = st.button('Вывести краткое содержание')
+if wiki_button:
+    if name_of_series_2:
+        english_title = get_english_title_from_myshows(name_of_series_2)
+        st.write(english_title)
+        if lang == 'Английский':
+            st.write(get_wikipedia_summary(english_title))
+        else:
+            text = get_wikipedia_summary(english_title)
+            with st.spinner('Перевод...'):
+                st.write(giga.invoke(f"Переведи этот текст: {text}").content)

pages/model_w_clustering.py

@@ -7,6 +7,7 @@ import requests
 from PIL import Image
 from io import BytesIO
 from langchain_community.chat_models.gigachat import GigaChat
+from bs4 import BeautifulSoup
 
 st.title('Рекомендации сериалов по описанию пользователя с помощью симметричного семантического поиска')
 st.divider()
@@ -126,7 +127,7 @@ else:
 
 st.subheader('Генерация краткого содержания сериала с помощью SberGigaChat')
 
-name_of_series = st.text_input('Введите название сериала')
+name_of_series = st.text_input('Введите название сериала', key='1')
 gen_button = st.button('Показать краткое содержание')
 giga = GigaChat(
     credentials='MjA2MGEzNjItZjE0Mi00NWE5LTllMDItMWVjZWRlNDA2ODM0OjNhNzNlZDJmLTY4NWUtNDI1Zi1iZjg4LTkxOWFjMjkxZDg0OA==', verify_ssl_certs=False)
@@ -135,3 +136,56 @@ if gen_button:
         st.write(giga.invoke(
             f"Расскажи cюжет сериала {name_of_series}").content)
 st.divider()
+
+st.subheader('Получение краткого содержания из Википедии')
+
+
+def get_wikipedia_summary(title):
+
+    url = f"https://en.wikipedia.org/api/rest_v1/page/summary/{title}"
+    response = requests.get(url)
+
+    if response.status_code == 200:
+        data = response.json()
+        return data.get('extract', 'Сюжет не найден.')
+    else:
+        return f'Статья не найдена. Статус запроса: {response.status_code}'
+
+
+def get_english_title_from_myshows(russian_title):
+
+    query = russian_title.replace(" ", "+")
+    url = f'https://myshows.me/search/?q={query}#shows'
+    response = requests.get(url)
+
+    if response.status_code != 200:
+        print(f"Ошибка при запросе, статус запроса: {response.status_code}")
+        return None
+
+    soup = BeautifulSoup(response.text, 'lxml')
+
+    english_title = soup.find(class_='ShowCol-titleOriginal').text
+
+    if english_title:
+        return english_title
+    else:
+        print("Не удалось найти оригинальное название")
+        return None
+
+
+name_of_series_2 = st.text_input('Введите название сериала', key='2')
+if 'шерлок' in name_of_series_2.lower():
+    st.error('За Вами выехали', icon="🚨")
+    name_of_series_2 = None
+lang = st.radio('Выберите язык описания', ['Английский', 'Русский'])
+wiki_button = st.button('Вывести краткое содержание')
+if wiki_button:
+    if name_of_series_2:
+        english_title = get_english_title_from_myshows(name_of_series_2)
+        st.write(english_title)
+        if lang == 'Английский':
+            st.write(get_wikipedia_summary(english_title))
+        else:
+            text = get_wikipedia_summary(english_title)
+            with st.spinner('Перевод...'):
+                st.write(giga.invoke(f"Переведи этот текст: {text}").content)

requirements.txt

@@ -6,3 +6,5 @@ numpy
 requests
 pillow
 gigachain_community
+bs4
+lxml