|
|
|
"""FredAlpaca.ipynb |
|
|
|
Automatically generated by Colaboratory. |
|
|
|
Original file is located at |
|
https://colab.research.google.com/drive/1W6DsQPLinVnuJKqhVASYpuVwuHhhtGLc |
|
""" |
|
|
|
!pip install transformers sentencepiece accelerate |
|
|
|
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM |
|
|
|
model_name = "IlyaGusev/fred_t5_ru_turbo_alpaca" |
|
tokenizer = AutoTokenizer.from_pretrained(model_name) |
|
model = AutoModelForSeq2SeqLM.from_pretrained(model_name).to("cuda") |
|
model.eval() |
|
|
|
inputs = [ |
|
"Вопрос: Почему трава зеленая?", |
|
"Задание: Сочини длинный рассказ, обязательно упоминая следующие объекты.\nДано: Таня, мяч", |
|
"Могут ли в природе встретиться в одном месте белый медведь и пингвин? Если нет, то почему?", |
|
"Задание: Заполни пропуски в предложении. Дано: Я пытался ____ от маньяка, но он меня настиг", |
|
"Как приготовить лазанью?" |
|
] |
|
|
|
from transformers import GenerationConfig |
|
|
|
generation_config = GenerationConfig.from_pretrained(model_name) |
|
|
|
for sample in inputs: |
|
data = tokenizer(sample, return_tensors="pt") |
|
data = {k: v.to(model.device) for k, v in data.items()} |
|
output_ids = model.generate( |
|
**data, |
|
generation_config=generation_config |
|
)[0] |
|
print(tokenizer.decode(data["input_ids"][0].tolist())) |
|
print(tokenizer.decode(output_ids.tolist())) |
|
print("====================") |
|
|
|
|
