Update app.py

app.py

@@ -4,16 +4,16 @@ import torch
 from transformers import AutoModelForCausalLM, AutoTokenizer
 from huggingface_hub import login
 
-# Configurar el token de Hugging Face
-huggingface_token = os.environ.get('reparbot')  # Mantenemos tu nombre de token original
+# Obtener el token directamente del secreto de Hugging Face
+huggingface_token = os.environ.get('reparbot2')
 if huggingface_token is None:
-    raise ValueError("El token de Hugging Face no está configurado en las variables de entorno. Por favor, configura reparbot2")
+    raise ValueError("El token de Hugging Face no está configurado en los secretos del Space")
 
-# Iniciar sesión en Hugging Face
+# Iniciar sesión
 login(huggingface_token)
 
-# Configurar el modelo y tokenizer
-model_id = "meta-llama/Llama-3.3-70B-Instruct"  # Mantenemos tu modelo original
+# Configurar modelo
+model_id = "meta-llama/Llama-2-7b-chat-hf"  # Cambiado al modelo de 7B
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 model = AutoModelForCausalLM.from_pretrained(
     model_id,
@@ -21,12 +21,11 @@ model = AutoModelForCausalLM.from_pretrained(
     device_map="auto"
 )
 
-# Función para generar respuestas
 def respond_to_query(user_input):
-    # Preparar el input
-    inputs = tokenizer.encode(user_input, return_tensors="pt").to(model.device)
+    # Formato específico para Llama 2 Chat
+    prompt = f"[INST] {user_input} [/INST]"
+    inputs = tokenizer.encode(prompt, return_tensors="pt").to(model.device)
     
-    # Generar respuesta
     outputs = model.generate(
         inputs,
         max_new_tokens=256,
@@ -34,18 +33,17 @@ def respond_to_query(user_input):
         top_p=0.95,
         top_k=50,
         temperature=0.7,
+        repetition_penalty=1.1
     )
     
-    # Decodificar y retornar la respuesta
-    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
-    return response
+    return tokenizer.decode(outputs[0], skip_special_tokens=True)
 
-# Crear la interfaz de Gradio
+# Interfaz Gradio
 interface = gr.Interface(
     fn=respond_to_query,
     inputs=gr.Textbox(label="Tu pregunta"),
     outputs=gr.Textbox(label="Respuesta"),
-    title="Chatbot con Llama 3.3",
+    title="Chatbot con Llama-2-7b",
     description="Haz una pregunta y el modelo te responderá"
 )