Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
@@ -11,7 +11,6 @@ def load_model():
|
|
11 |
try:
|
12 |
print("Начинаем загрузку модели из Hub...")
|
13 |
|
14 |
-
# Загружаем файл модели из Hub
|
15 |
model_path = hf_hub_download(
|
16 |
repo_id="AugustLight/LLight-3.2-3B-Instruct",
|
17 |
filename="Llight.Q8_0.gguf",
|
@@ -20,7 +19,6 @@ def load_model():
|
|
20 |
|
21 |
print(f"Модель загружена в: {model_path}")
|
22 |
|
23 |
-
# Инициализируем модель через llama-cpp
|
24 |
model = Llama(
|
25 |
model_path=model_path,
|
26 |
n_ctx=2048, # Размер контекста
|
@@ -41,7 +39,6 @@ def respond(message, history, system_message, max_new_tokens, temperature, top_p
|
|
41 |
if model is None:
|
42 |
model = load_model()
|
43 |
|
44 |
-
# Формируем контекст из истории
|
45 |
context = f"{system_message}\n\n"
|
46 |
for user_msg, assistant_msg in history:
|
47 |
context += f"User: {user_msg}\nAssistant: {assistant_msg}\n"
|
@@ -49,7 +46,6 @@ def respond(message, history, system_message, max_new_tokens, temperature, top_p
|
|
49 |
|
50 |
print(f"Генерируем ответ для контекста длиной {len(context)} символов")
|
51 |
|
52 |
-
# Генерируем ответ используя llama-cpp
|
53 |
response = model(
|
54 |
prompt=context,
|
55 |
max_tokens=max_new_tokens,
|
@@ -73,7 +69,7 @@ demo = gr.ChatInterface(
|
|
73 |
respond,
|
74 |
additional_inputs=[
|
75 |
gr.Textbox(
|
76 |
-
value="Ты дружелюбный и полезный ассистент.
|
77 |
label="System message"
|
78 |
),
|
79 |
gr.Slider(
|
|
|
11 |
try:
|
12 |
print("Начинаем загрузку модели из Hub...")
|
13 |
|
|
|
14 |
model_path = hf_hub_download(
|
15 |
repo_id="AugustLight/LLight-3.2-3B-Instruct",
|
16 |
filename="Llight.Q8_0.gguf",
|
|
|
19 |
|
20 |
print(f"Модель загружена в: {model_path}")
|
21 |
|
|
|
22 |
model = Llama(
|
23 |
model_path=model_path,
|
24 |
n_ctx=2048, # Размер контекста
|
|
|
39 |
if model is None:
|
40 |
model = load_model()
|
41 |
|
|
|
42 |
context = f"{system_message}\n\n"
|
43 |
for user_msg, assistant_msg in history:
|
44 |
context += f"User: {user_msg}\nAssistant: {assistant_msg}\n"
|
|
|
46 |
|
47 |
print(f"Генерируем ответ для контекста длиной {len(context)} символов")
|
48 |
|
|
|
49 |
response = model(
|
50 |
prompt=context,
|
51 |
max_tokens=max_new_tokens,
|
|
|
69 |
respond,
|
70 |
additional_inputs=[
|
71 |
gr.Textbox(
|
72 |
+
value="Ты дружелюбный и полезный ассистент. Отвечай обдуманно и по делу.",
|
73 |
label="System message"
|
74 |
),
|
75 |
gr.Slider(
|