AugustLight commited on
Commit
065ca46
·
verified ·
1 Parent(s): e93b154

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +7 -12
app.py CHANGED
@@ -1,5 +1,5 @@
1
  import gradio as gr
2
- from ctransformers import AutoModelForCausalLM, Config
3
  import os
4
 
5
  # Глобальная переменная для модели
@@ -19,20 +19,15 @@ def load_model():
19
  if not os.path.exists(model_path):
20
  raise FileNotFoundError(f"Модель не найдена по пути: {model_path}")
21
 
22
- # Конфигурация модели
23
- config = Config(
24
- model_path=model_path,
25
- model_type="llama",
26
- context_length=2048,
27
- gpu_layers=0,
28
- threads=4
29
- )
30
-
31
- # Пробуем загрузить модель с конфигурацией
32
  print("Начинаем загрузку модели...")
33
  model = AutoModelForCausalLM.from_pretrained(
34
  model_path,
35
- config=config
 
 
 
 
36
  )
37
  print("Модель успешно загружена!")
38
  return model
 
1
  import gradio as gr
2
+ from ctransformers import AutoModelForCausalLM
3
  import os
4
 
5
  # Глобальная переменная для модели
 
19
  if not os.path.exists(model_path):
20
  raise FileNotFoundError(f"Модель не найдена по пути: {model_path}")
21
 
22
+ # Загружаем модель с правильными параметрами
 
 
 
 
 
 
 
 
 
23
  print("Начинаем загрузку модели...")
24
  model = AutoModelForCausalLM.from_pretrained(
25
  model_path,
26
+ model_type="llama",
27
+ context_length=2048,
28
+ gpu_layers=0,
29
+ threads=4,
30
+ batch_size=8
31
  )
32
  print("Модель успешно загружена!")
33
  return model