Update app.py

app.py

@@ -1,63 +1,54 @@
 import gradio as gr
-import torch, os
-from transformers import AutoTokenizer, AutoModelForCausalLM
-from huggingface_hub import login
-
-def init_model():
-    global model, tokenizer
-    hf_token = os.getenv("HF_TOKEN")
-
-    if hf_token is None:
-        raise ValueError("Hugging Face token is not set. Please set the HF_TOKEN environment variable.")
-
-    login(hf_token, add_to_git_credential=True)
-
-    tokenizer = AutoTokenizer.from_pretrained("IlyaGusev/saiga_gemma2_10b", use_auth_token=hf_token)
-    model = AutoModelForCausalLM.from_pretrained(
-        "IlyaGusev/saiga_gemma2_10b",
-        use_auth_token=hf_token,
-        torch_dtype=torch.float16,  # Использование float16 для уменьшения потребления памяти
-        low_cpu_mem_usage=True  # Настройка для уменьшения использования памяти на CPU
-    )
-
-    device = torch.device("cpu")  # Использование CPU
-    model.to(device)
-
-def generate_response(prompt, max_length=100, temperature=0.7, top_p=0.85, repetition_penalty=1.1):
-    try:
-        input_ids = tokenizer.encode(prompt, return_tensors="pt").to(model.device)
-        attention_mask = torch.ones_like(input_ids).to(model.device)
-
-        output = model.generate(
-            input_ids,
-            attention_mask=attention_mask,
-            max_length=max_length,
-            temperature=temperature,
-            top_p=top_p,
-            repetition_penalty=repetition_penalty,
-            do_sample=True,
-            num_return_sequences=1,
-            pad_token_id=tokenizer.eos_token_id
-        )
-        response_text = tokenizer.decode(output[0], skip_special_tokens=True)
-        return response_text
-    except Exception as e:
-        return f"Извините, произошла ошибка при генерации ответа: {str(e)}"
-
-init_model()
-
+import llama_cpp_python as llama
+import os
+
+# Определение персонажей
+characters = [
+    {"name": "Алекс", 
+     "description": "Алекс - молодой и амбициозный приключенец, обладающий неутомимой энергией и жаждой новых открытий. Он всегда готов бросить вызов любым трудностям и стремится к познанию неизведанных мест.", 
+     "traits": "смелый, энергичный, оптимистичный, решительный"},
+    
+    {"name": "Майя", 
+     "description": "Майя - мудрая и опытная волшебница, обладающая глубокими знаниями в магии и древних ритуалах. Она известна своим спокойствием, аналитическим умом и способностью находить решения в сложных ситуациях.",
+     "traits": "спокойная, вдумчивая, интуитивная, внимательная"},
+    
+    {"name": "Виктор", 
+     "description": "Виктор - бывший воин, который оставил боевые подвиги ради поиска внутреннего мира и гармонии. Его жизненный опыт и стремление к справедливости делают его надежным другом и наставником.", 
+     "traits": "серьезный, рассудительный, справедливый, уравновешенный"}
+]
+
+# Загрузка модели
+model_path = "model-q4_K.gguf"
+model = llama.load_model(model_path)
+
+def generate_response(character_name, prompt, max_length=100, temperature=0.7, top_p=0.85, repetition_penalty=1.1):
+    # Поиск данных персонажа
+    character = next((c for c in characters if c["name"] == character_name), None)
+    if not character:
+        return "Персонаж не найден."
+
+    # Формирование текста запроса
+    prompt_text = (f"Ты - {character_name}, {character['description']}. Черты характера: {character['traits']}. "
+                   f"В ответ на вопрос '{prompt}' {random.choice(['вдохновленно', 'с сомнением', 'с радостью', 'вдумчиво', 'с недоверием'])}. Пожалуйста, закончите ответ полностью.")
+    
+    # Генерация ответа
+    response = model.generate(prompt_text, max_length=max_length, temperature=temperature, top_p=top_p, repetition_penalty=repetition_penalty)
+    return response
+
+# Создание интерфейса Gradio
 iface = gr.Interface(
     fn=generate_response,
     inputs=[
-        gr.Textbox(lines=2, placeholder="Введите ваш текст здесь..."),
-        gr.Slider(20, 200, step=1, default=100, label="Максимальная длина"),
-        gr.Slider(0.1, 1.0, step=0.1, default=0.7, label="Температу��а"),
-        gr.Slider(0.1, 1.0, step=0.05, default=0.85, label="Top-p"),
-        gr.Slider(1.0, 2.0, step=0.1, default=1.1, label="Штраф за повторение")
+        gr.inputs.Dropdown([c["name"] for c in characters], label="Выберите персонажа"),
+        gr.inputs.Textbox(lines=2, placeholder="Введите ваш текст здесь..."),
+        gr.inputs.Slider(20, 200, step=1, default=100, label="Максимальная длина"),
+        gr.inputs.Slider(0.1, 1.0, step=0.1, default=0.7, label="Температура"),
+        gr.inputs.Slider(0.1, 1.0, step=0.05, default=0.85, label="Top-p"),
+        gr.inputs.Slider(1.0, 2.0, step=0.1, default=1.1, label="Штраф за повторение")
     ],
     outputs="text",
     title="LLM Model Demo",
-    description="Введите текстовый запрос, чтобы сгенерировать ответ с помощью LLM модели."
+    description="Введите текстовый запрос, чтобы сгенерировать ответ с помощью модели, основываясь на выбранном персонаже."
 )
 
 if __name__ == "__main__":