AugustLight commited on
Commit
9f5efd5
·
verified ·
1 Parent(s): 437bce8

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +1 -5
app.py CHANGED
@@ -11,7 +11,6 @@ def load_model():
11
  try:
12
  print("Начинаем загрузку модели из Hub...")
13
 
14
- # Загружаем файл модели из Hub
15
  model_path = hf_hub_download(
16
  repo_id="AugustLight/LLight-3.2-3B-Instruct",
17
  filename="Llight.Q8_0.gguf",
@@ -20,7 +19,6 @@ def load_model():
20
 
21
  print(f"Модель загружена в: {model_path}")
22
 
23
- # Инициализируем модель через llama-cpp
24
  model = Llama(
25
  model_path=model_path,
26
  n_ctx=2048, # Размер контекста
@@ -41,7 +39,6 @@ def respond(message, history, system_message, max_new_tokens, temperature, top_p
41
  if model is None:
42
  model = load_model()
43
 
44
- # Формируем контекст из истории
45
  context = f"{system_message}\n\n"
46
  for user_msg, assistant_msg in history:
47
  context += f"User: {user_msg}\nAssistant: {assistant_msg}\n"
@@ -49,7 +46,6 @@ def respond(message, history, system_message, max_new_tokens, temperature, top_p
49
 
50
  print(f"Генерируем ответ для контекста длиной {len(context)} символов")
51
 
52
- # Генерируем ответ используя llama-cpp
53
  response = model(
54
  prompt=context,
55
  max_tokens=max_new_tokens,
@@ -73,7 +69,7 @@ demo = gr.ChatInterface(
73
  respond,
74
  additional_inputs=[
75
  gr.Textbox(
76
- value="Ты дружелюбный и полезный ассистент. Ты всегда отвечаешь кратко и по делу.",
77
  label="System message"
78
  ),
79
  gr.Slider(
 
11
  try:
12
  print("Начинаем загрузку модели из Hub...")
13
 
 
14
  model_path = hf_hub_download(
15
  repo_id="AugustLight/LLight-3.2-3B-Instruct",
16
  filename="Llight.Q8_0.gguf",
 
19
 
20
  print(f"Модель загружена в: {model_path}")
21
 
 
22
  model = Llama(
23
  model_path=model_path,
24
  n_ctx=2048, # Размер контекста
 
39
  if model is None:
40
  model = load_model()
41
 
 
42
  context = f"{system_message}\n\n"
43
  for user_msg, assistant_msg in history:
44
  context += f"User: {user_msg}\nAssistant: {assistant_msg}\n"
 
46
 
47
  print(f"Генерируем ответ для контекста длиной {len(context)} символов")
48
 
 
49
  response = model(
50
  prompt=context,
51
  max_tokens=max_new_tokens,
 
69
  respond,
70
  additional_inputs=[
71
  gr.Textbox(
72
+ value="Ты дружелюбный и полезный ассистент. Отвечай обдуманно и по делу.",
73
  label="System message"
74
  ),
75
  gr.Slider(