Update app.py

app.py

@@ -1,35 +1,60 @@
 import gradio as gr
-from ctransformers import AutoModelForCausalLM
+from ctransformers import AutoModelForCausalLM, Config
 import os
 
+# Глобальная переменная для модели
 model = None
 
 def load_model():
     global model
-    if model is None:
-        try:
-            model = AutoModelForCausalLM.from_pretrained(
-                "Llight.Q8_0.gguf",
-                model_type="llama",
-                gpu_layers=0,
-                context_length=2048
-            )
-        except Exception as e:
-            print(f"Ошибка загрузки модели: {str(e)}")
-            raise e
-    return model
+    try:
+        # Выводим текущую директорию и список файлов
+        current_dir = os.getcwd()
+        files = os.listdir(current_dir)
+        print(f"Текущая директория: {current_dir}")
+        print(f"Список файлов: {files}")
+        
+        # Проверяем существование файла модели
+        model_path = "Llight.Q8_0.gguf"
+        if not os.path.exists(model_path):
+            raise FileNotFoundError(f"Модель не найдена по пути: {model_path}")
+        
+        # Конфигурация модели
+        config = Config(
+            model_path=model_path,
+            model_type="llama",
+            context_length=2048,
+            gpu_layers=0,
+            threads=4
+        )
+        
+        # Пробуем загрузить модель с конфигурацией
+        print("Начинаем загрузку модели...")
+        model = AutoModelForCausalLM.from_pretrained(
+            model_path,
+            config=config
+        )
+        print("Модель успешно загружена!")
+        return model
+        
+    except Exception as e:
+        print(f"Подробная ошибка при загрузке модели: {str(e)}")
+        raise e
 
 def respond(message, history, system_message, max_new_tokens, temperature, top_p):
     try:
+        global model
         if model is None:
-            load_model()
+            model = load_model()
             
         # Формируем контекст из истории
-        context = system_message + "\n\n"
+        context = f"{system_message}\n\n"
         for user_msg, assistant_msg in history:
             context += f"User: {user_msg}\nAssistant: {assistant_msg}\n"
         context += f"User: {message}\nAssistant: "
 
+        print(f"Генерируем ответ для контекста длиной {len(context)} символов")
+        
         # Генерируем ответ
         response = model(
             context,
@@ -39,10 +64,13 @@ def respond(message, history, system_message, max_new_tokens, temperature, top_p
             stop=["User:", "\n\n", "<|endoftext|>"]
         )
         
+        print(f"Ответ сгенерирован успешно, длина: {len(response)}")
         return response.strip()
         
     except Exception as e:
-        return f"Произошла ошибка: {str(e)}"
+        error_msg = f"Произошла ошибка: {str(e)}"
+        print(error_msg)
+        return error_msg
 
 # Создаем интерфейс
 demo = gr.ChatInterface(
@@ -61,7 +89,7 @@ demo = gr.ChatInterface(
         ),
         gr.Slider(
             minimum=0.1, 
-            maximum=4.0, 
+            maximum=2.0, 
             value=0.7, 
             step=0.1, 
             label="Temperature"
@@ -86,4 +114,12 @@ demo = gr.ChatInterface(
 
 # Запускаем приложение
 if __name__ == "__main__":
+    # Пробуем загрузить модель при запуске
+    try:
+        print("Инициализация приложения...")
+        model = load_model()
+        print("Модель загружена успешно при старте")
+    except Exception as e:
+        print(f"Ошибка при инициализации: {str(e)}")
+    
     demo.launch()