RuGPT2_Gen_News

Предварительно обученная модель на русском языке с использованием языковой модели "sberbank-ai/rugpt3small_based_on_gpt2".

Содержимое карты этой модели было создано, чтобы дополнить предоставленную информацию и привести конкретные примеры её использования.

Описание модели

RuGPT2_Gen_Comments — это модель предназначена для демонстрации генерации новостей, предварительно обученная на массиве данных Lenta2 проекта CORUS на русском языке.

Входные данные — это последовательности непрерывного текста определенной длины (block_size = 1048).

Проимер использования

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Dmitriy007/rugpt2_gen_news")
model = AutoModelForCausalLM.from_pretrained("Dmitriy007/rugpt2_gen_news")

input_text = 'Ученик старшего класса лицея № 21 Иван Сидоров из города Адлер полетел в космос на планету Марс.'

inputs = tokenizer(input_text, return_tensors="pt")
model.to('cuda')
inputs.to('cuda')

input_ids = inputs["input_ids"]

output = model.generate(
input_ids,
attention_mask=inputs["attention_mask"],
pad_token_id=model.config.bos_token_id,
max_length=300,
num_beams=5,
num_return_sequences=1,
top_k=50,
top_p=0.90,
no_repeat_ngram_size=2,
temperature=0.7,
early_stopping=True
)

generated_text = list(map(tokenizer.decode, output))
print(generated_text[0])
Downloads last month
61
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for Dmitriy007/rugpt2_gen_news

Finetunes
1 model