Spaces:
Sleeping
Sleeping
File size: 5,247 Bytes
0b93329 5caa856 0b93329 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 |
import streamlit as st
import pandas as pd
from transformers import AutoModelForCausalLM, AutoTokenizer
# Настройка конфигурации страницы Streamlit
st.set_page_config(
page_title="Generate reviews",
initial_sidebar_state="expanded"
)
# Заголовок приложения
st.title("Генератор отзывов на основе ИИ")
st.write("Создайте уникальные текстовые отзывы о различных местах на основе категорий, рейтинга и ключевых слов.")
st.sidebar.title("Параметры генерации")
# Загрузка модели и токенизатора
# @st.cache_data()
@st.cache_resource
def get_model():
# Загрузка модели
model = AutoModelForCausalLM.from_pretrained('model')
# Загрузка токенизатора
tokenizer = AutoTokenizer.from_pretrained('model')
return model, tokenizer
# Генерация отзыва
def gen_review(input_text, model, tokenizer, params):
input_ids = tokenizer.encode(input_text, return_tensors='pt')
output = model.generate(
input_ids,
max_length=params['max_length'],
num_return_sequences=params['num_return_sequences'],
no_repeat_ngram_size=params['no_repeat_ngram_size'],
do_sample=params['do_sample'],
top_p=params['top_p'],
top_k=params['top_k'],
temperature=params['temperature'],
eos_token_id=tokenizer.eos_token_id,
)
return tokenizer.decode(output[0], skip_special_tokens=True)
def capitalize_and_punctuate(text):
# Извлекаем часть текста после последнего двоеточия
text = text.split(":")[-1].strip()
# Разделяем текст на предложения по общим знакам препинания
sentences = []
current_sentence = []
for char in text:
current_sentence.append(char)
# Если встречаем знак конца предложения, добавляем его в список предложений
if char in '.!?':
sentences.append(''.join(current_sentence).strip())
current_sentence = []
# Если остался текст, добавляем его как последнее предложение
if current_sentence:
sentences.append(''.join(current_sentence).strip())
# Обрабатываем каждое предложение, чтобы сделать первую букву заглавной
corrected_sentences = []
for sentence in sentences:
if sentence:
# Делаем первую букву заглавной и добавляем точку в конце, если её нет
corrected_sentence = sentence[0].upper() + sentence[1:]
if not corrected_sentence.endswith('.'):
corrected_sentence += '.'
corrected_sentences.append(corrected_sentence)
# Объединяем все исправленные предложения в финальный текст
final_text = ' '.join(corrected_sentences)
return final_text
# Главная функция
def main():
# Загружаем модель и токенизатор
model, tokenizer = get_model()
if 'btn_predict' not in st.session_state:
st.session_state['btn_predict'] = False
# Параметры генерации
params = {}
params['max_length'] = st.sidebar.slider('Максимальная длина', min_value=50, max_value=300, value=200)
params['num_return_sequences'] = st.sidebar.number_input('Количество ответов', min_value=1, max_value=10, value=1)
params['no_repeat_ngram_size'] = st.sidebar.number_input('Размер n-грамм без повтора', min_value=1, max_value=20, value=2)
params['do_sample'] = st.sidebar.checkbox('Использовать случайную выборку', value=True)
params['top_p'] = st.sidebar.slider('Вероятность отбора (Top-p)', min_value=0.01, max_value=1.00, step=0.05, value=0.95)
params['top_k'] = st.sidebar.number_input('Топ-k отбор', min_value=1, max_value=100, value=60)
params['temperature'] = st.sidebar.slider('Температура', min_value=0.01, max_value=2.00, step=0.05, value=0.90)
category = st.text_input("Категория:", value="Кондитерская")
rating = st.slider("Рейтинг", 1, 5, 1)
key_words = st.text_input("Ключевые слова", value="десерт, торт, цена")
# Ввод новых параметров
input_text = f"Категория: {category}; Рейтинг: {rating}; Ключевые слова: {key_words} -> Отзыв:"
if st.button('Generate'):
with st.spinner('Генерация отзыва...'):
generated_text = gen_review(input_text, model, tokenizer, params)
generated_text = capitalize_and_punctuate(generated_text)
st.success("Готово!")
st.text(generated_text)
if __name__ == "__main__":
main()
|