Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
@@ -1,38 +1,16 @@
|
|
1 |
-
import logging
|
2 |
import gradio as gr
|
3 |
from ctransformers import AutoModelForCausalLM
|
4 |
import threading
|
5 |
from langdetect import detect, DetectorFactory
|
6 |
|
7 |
-
# Configuraci贸n del logger
|
8 |
-
logging.basicConfig(filename='logs.txt', level=logging.INFO,
|
9 |
-
format='%(asctime)s %(levelname)s:%(message)s')
|
10 |
-
|
11 |
-
DetectorFactory.seed = 0 # Para obtener resultados consistentes en la detecci贸n del idioma
|
12 |
-
|
13 |
# Introducimos un mensaje para el modelo para que hable solo en espa帽ol y con respeto
|
14 |
-
system_message = ""
|
15 |
-
Eres un asistente que siempre responde en espa帽ol.
|
16 |
|
17 |
-
"""
|
18 |
-
# """
|
19 |
-
# Eres un asistente 煤til, respetuoso y honesto. Responde siempre de la manera m谩s 煤til posible, a la vez que de manera segura.
|
20 |
-
# Tus respuestas no deben incluir contenido da帽ino, no 茅tico, racista, sexista, t贸xico, peligroso o ilegal.
|
21 |
-
# Por favor, aseg煤rate de que tus respuestas sean socialmente imparciales y de naturaleza positiva.
|
22 |
-
# Si una pregunta no tiene sentido o no es coherente desde un punto de vista factual,
|
23 |
-
# explica por qu茅 en lugar de responder algo incorrecto. Si no conoces la respuesta a una pregunta,
|
24 |
-
# por favor, no compartas informaci贸n falsa.
|
25 |
-
# """
|
26 |
|
27 |
def load_llm():
|
28 |
-
|
29 |
-
# "./models/llama-2-7b-chat.Q5_K_M.gguf",
|
30 |
-
# "./models/llama-2-7b-langchain-chat-q5_0.gguf",
|
31 |
-
# "./models/llama-2-7b-langchain-chat-q5_1.gguf",
|
32 |
-
# "./models/llama-2-7b-langchain-chat-q8_0.gguf"
|
33 |
-
|
34 |
llm = AutoModelForCausalLM.from_pretrained(
|
35 |
-
|
|
|
36 |
model_type='llama',
|
37 |
max_new_tokens=2048,
|
38 |
context_length = 4096,
|
@@ -76,8 +54,6 @@ def llm_function_with_timeout(message, chat_history, timeout=120):
|
|
76 |
return "Tu pregunta no ha podido ser respondida en el tiempo estimado. Por favor, intenta de nuevo o reformula tu pregunta."
|
77 |
return result[0]
|
78 |
|
79 |
-
# def desplegar_chatbot():
|
80 |
-
|
81 |
title = "ChatterIA"
|
82 |
|
83 |
description = """
|
@@ -86,7 +62,7 @@ ChatterIA es un modelo de lenguaje que funciona como un asistente con infinidad
|
|
86 |
<li>Las respuestas de este modelo pueden no ser siempre precisas, al depender de su configuraci贸n, capacidad de interpretaci贸n y contextualizaci贸n</li>
|
87 |
<li>Usa este modelo bajo tu responsabilidad.</li>
|
88 |
<li>Si no o obtienes respuesta a tu consulta, intenta volver a reformularla.</li>
|
89 |
-
<li>Si necesitas alguna aclaración o tienes cualquier otra duda, puedes enviar un correo electrónico a soporte: <a href='mailto:[email protected]'> Mandar email </a>. o revisar nuestras guías: <a href='http://
|
90 |
<li>Es importante que sepas este sitio es de uso educativo. El envío de mensajes masivos puede dar error.</li>
|
91 |
</ul>
|
92 |
"""
|
|
|
|
|
1 |
import gradio as gr
|
2 |
from ctransformers import AutoModelForCausalLM
|
3 |
import threading
|
4 |
from langdetect import detect, DetectorFactory
|
5 |
|
|
|
|
|
|
|
|
|
|
|
|
|
6 |
# Introducimos un mensaje para el modelo para que hable solo en espa帽ol y con respeto
|
7 |
+
system_message = "Eres un asistente que siempre responde en espa帽ol."
|
|
|
8 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
9 |
|
10 |
def load_llm():
|
|
|
|
|
|
|
|
|
|
|
|
|
11 |
llm = AutoModelForCausalLM.from_pretrained(
|
12 |
+
TheBloke/Llama-2-7B-Chat-GGUF,
|
13 |
+
model_file='llama-2-7b-chat.Q5_K_M.gguf'
|
14 |
model_type='llama',
|
15 |
max_new_tokens=2048,
|
16 |
context_length = 4096,
|
|
|
54 |
return "Tu pregunta no ha podido ser respondida en el tiempo estimado. Por favor, intenta de nuevo o reformula tu pregunta."
|
55 |
return result[0]
|
56 |
|
|
|
|
|
57 |
title = "ChatterIA"
|
58 |
|
59 |
description = """
|
|
|
62 |
<li>Las respuestas de este modelo pueden no ser siempre precisas, al depender de su configuraci贸n, capacidad de interpretaci贸n y contextualizaci贸n</li>
|
63 |
<li>Usa este modelo bajo tu responsabilidad.</li>
|
64 |
<li>Si no o obtienes respuesta a tu consulta, intenta volver a reformularla.</li>
|
65 |
+
<li>Si necesitas alguna aclaración o tienes cualquier otra duda, puedes enviar un correo electrónico a soporte: <a href='mailto:[email protected]'> Mandar email </a>. o revisar nuestras guías: <a href='http://fuentezuelas.com/playground/ChatterIA/index.php#guias' target="_blank"> Acceder a guías </a></li>
|
66 |
<li>Es importante que sepas este sitio es de uso educativo. El envío de mensajes masivos puede dar error.</li>
|
67 |
</ul>
|
68 |
"""
|