Update app.py

app.py

@@ -1,7 +1,40 @@
 import gradio as gr
-import llama_cpp_python as llama
-import os
+import os, random
+import transformers
+import torch
 
+model_id = "yodayo-ai/nephra_v1.0"
+
+pipeline = transformers.pipeline(
+  "text-generation",
+  model=model_id,
+  model_kwargs={"torch_dtype": torch.bfloat16},
+  device_map="auto",
+)
+
+messages = [
+  {"role": "system", "content": "You are to play the role of a Алекс - молодой и амбициозный приключенец, обладающий неутомимой энергией и жаждой новых открытий. Он всегда готов бросить вызов любым трудностям и стремится к познанию неизведанных мест."},
+  {"role": "user", "content": "Hi there, how's your day?"},
+]
+
+prompt = pipeline.tokenizer.apply_chat_template(
+  messages,
+  tokenize=False,
+  add_generation_prompt=True
+)
+
+outputs = pipeline(
+  prompt,
+  max_new_tokens=512,
+  eos_token_id=[
+    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>"),
+    pipeline.tokenizer.eos_token_id,
+  ],
+  do_sample=True,
+  temperature=1.12,
+  min_p=0.075,
+)
+print(outputs[0]["generated_text"][len(prompt):])
 # Определение персонажей
 characters = [
     {"name": "Алекс",