OlgaKo commited on
Commit
9d2f85e
1 Parent(s): 03f1e8d

Upload fredalpaca.py

Browse files
Files changed (1) hide show
  1. fredalpaca.py +41 -0
fredalpaca.py ADDED
@@ -0,0 +1,41 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ # -*- coding: utf-8 -*-
2
+ """FredAlpaca.ipynb
3
+
4
+ Automatically generated by Colaboratory.
5
+
6
+ Original file is located at
7
+ https://colab.research.google.com/drive/1W6DsQPLinVnuJKqhVASYpuVwuHhhtGLc
8
+ """
9
+
10
+ !pip install transformers sentencepiece accelerate
11
+
12
+ from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
13
+
14
+ model_name = "IlyaGusev/fred_t5_ru_turbo_alpaca"
15
+ tokenizer = AutoTokenizer.from_pretrained(model_name)
16
+ model = AutoModelForSeq2SeqLM.from_pretrained(model_name).to("cuda")
17
+ model.eval()
18
+
19
+ inputs = [
20
+ "Вопрос: Почему трава зеленая?",
21
+ "Задание: Сочини длинный рассказ, обязательно упоминая следующие объекты.\nДано: Таня, мяч",
22
+ "Могут ли в природе встретиться в одном месте белый медведь и пингвин? Если нет, то почему?",
23
+ "Задание: Заполни пропуски в предложении. Дано: Я пытался ____ от маньяка, но он меня настиг",
24
+ "Как приготовить лазанью?"
25
+ ]
26
+
27
+ from transformers import GenerationConfig
28
+
29
+ generation_config = GenerationConfig.from_pretrained(model_name)
30
+
31
+ for sample in inputs:
32
+ data = tokenizer(sample, return_tensors="pt")
33
+ data = {k: v.to(model.device) for k, v in data.items()}
34
+ output_ids = model.generate(
35
+ **data,
36
+ generation_config=generation_config
37
+ )[0]
38
+ print(tokenizer.decode(data["input_ids"][0].tolist()))
39
+ print(tokenizer.decode(output_ids.tolist()))
40
+ print("====================")
41
+