Upload fredalpaca.py

fredalpaca.py

@@ -0,0 +1,41 @@
+# -*- coding: utf-8 -*-
+"""FredAlpaca.ipynb
+
+Automatically generated by Colaboratory.
+
+Original file is located at
+    https://colab.research.google.com/drive/1W6DsQPLinVnuJKqhVASYpuVwuHhhtGLc
+"""
+
+!pip install transformers sentencepiece accelerate
+
+from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
+
+model_name = "IlyaGusev/fred_t5_ru_turbo_alpaca"
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+model = AutoModelForSeq2SeqLM.from_pretrained(model_name).to("cuda")
+model.eval()
+
+inputs = [
+    "Вопрос: Почему трава зеленая?",
+    "Задание: Сочини длинный рассказ, обязательно упоминая следующие объекты.\nДано: Таня, мяч",
+    "Могут ли в природе встретиться в одном месте белый медведь и пингвин? Если нет, то почему?",
+    "Задание: Заполни пропуски в предложении. Дано: Я пытался ____ от маньяка, но он меня настиг",
+    "Как приготовить лазанью?"
+]
+
+from transformers import GenerationConfig
+
+generation_config = GenerationConfig.from_pretrained(model_name)
+
+for sample in inputs:
+    data = tokenizer(sample, return_tensors="pt")
+    data = {k: v.to(model.device) for k, v in data.items()}
+    output_ids = model.generate(
+        **data,
+        generation_config=generation_config
+    )[0]
+    print(tokenizer.decode(data["input_ids"][0].tolist()))
+    print(tokenizer.decode(output_ids.tolist()))
+    print("====================")
+