Antonio49 commited on
Commit
f0ceea8
1 Parent(s): fd400aa

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +6 -6
app.py CHANGED
@@ -6,17 +6,17 @@ import gradio as gr
6
  client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
7
 
8
  # Función para formatear el prompt con historial
9
- def format_prompt(message, history):
10
  prompt = "<s>"
11
  for user_prompt, bot_response in history:
12
  prompt += f"[INST] {user_prompt} [/INST]"
13
  prompt += f" {bot_response}</s> "
14
- prompt += f"[INST] {message} [/INST]"
15
  return prompt
16
 
17
  # Función para generar respuestas dada una serie de parámetros
18
  def generate(
19
- prompt, history, system_prompt, temperature=0.9, max_new_tokens=256, top_p=0.95, repetition_penalty=1.0,
20
  ):
21
  # Ajustar valores de temperatura y top_p para asegurar que estén en el rango adecuado
22
  temperature = float(temperature)
@@ -35,7 +35,7 @@ def generate(
35
  )
36
 
37
  # Formatear el prompt y obtener la respuesta del modelo de manera continua
38
- formatted_prompt = format_prompt(f"{system_prompt}, {prompt}", history)
39
  stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)
40
  output = ""
41
 
@@ -47,7 +47,7 @@ def generate(
47
 
48
  # Configurar inputs adicionales para la interfaz Gradio
49
  additional_inputs = [
50
- # Entrada de texto para el System Prompt
51
  gr.Textbox(
52
  label="System Prompt",
53
  max_lines=1,
@@ -120,4 +120,4 @@ gr.ChatInterface(
120
  description='Autor: <a href=\"https://huggingface.co/Antonio49\">Antonio Fernández</a> de <a href=\"https://saturdays.ai/\">SaturdaysAI</a>. Formación: <a href=\"https://cursos.saturdays.ai/courses/\">Cursos Online AI</a> Aplicación desarrollada con fines docentes',
121
  examples=examples,
122
  concurrency_limit=20,
123
- ).launch(show_api=False)
 
6
  client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
7
 
8
  # Función para formatear el prompt con historial
9
+ def format_prompt(message, history, system_prompt):
10
  prompt = "<s>"
11
  for user_prompt, bot_response in history:
12
  prompt += f"[INST] {user_prompt} [/INST]"
13
  prompt += f" {bot_response}</s> "
14
+ prompt += f"[INST] {system_prompt}, {message} [/INST]"
15
  return prompt
16
 
17
  # Función para generar respuestas dada una serie de parámetros
18
  def generate(
19
+ prompt, history, system_prompt= "Soy un Experto en Inteligencia Artificial", temperature=0.9, max_new_tokens=256, top_p=0.95, repetition_penalty=1.0,
20
  ):
21
  # Ajustar valores de temperatura y top_p para asegurar que estén en el rango adecuado
22
  temperature = float(temperature)
 
35
  )
36
 
37
  # Formatear el prompt y obtener la respuesta del modelo de manera continua
38
+ formatted_prompt = format_prompt(prompt, history, system_prompt)
39
  stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)
40
  output = ""
41
 
 
47
 
48
  # Configurar inputs adicionales para la interfaz Gradio
49
  additional_inputs = [
50
+ # Entrada de texto para el System Prompt (puedes omitir esto si no lo necesitas)
51
  gr.Textbox(
52
  label="System Prompt",
53
  max_lines=1,
 
120
  description='Autor: <a href=\"https://huggingface.co/Antonio49\">Antonio Fernández</a> de <a href=\"https://saturdays.ai/\">SaturdaysAI</a>. Formación: <a href=\"https://cursos.saturdays.ai/courses/\">Cursos Online AI</a> Aplicación desarrollada con fines docentes',
121
  examples=examples,
122
  concurrency_limit=20,
123
+ ).launch(show_api=False)