Update app.py

app.py

@@ -1,31 +1,53 @@
 import os
 import gradio as gr
 import torch
-from transformers import pipeline
+from transformers import AutoModelForCausalLM, AutoTokenizer
+from huggingface_hub import login
 
-# Iniciar sesión en Hugging Face usando el secreto
-huggingface_token = os.getenv('reparbot2')  # Asegúrate de que el nombre coincida
+# Configurar el token de Hugging Face
+huggingface_token = os.environ.get('reparbot2')  # Mantenemos tu nombre de token original
 if huggingface_token is None:
-    raise ValueError("El token de Hugging Face no está configurado en las variables de entorno.")
+    raise ValueError("El token de Hugging Face no está configurado en las variables de entorno. Por favor, configura reparbot2")
+
+# Iniciar sesión en Hugging Face
 login(huggingface_token)
 
-# Configurar el modelo
-model_id = "meta-llama/Llama-3.3-70B-Instruct"
-pipeline_model = pipeline(
-    "text-generation",
-    model=model_id,
-    model_kwargs={"torch_dtype": torch.bfloat16},
-    device_map="auto",
+# Configurar el modelo y tokenizer
+model_id = "meta-llama/Llama-3.3-70B-Instruct"  # Mantenemos tu modelo original
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    torch_dtype=torch.bfloat16,
+    device_map="auto"
 )
 
-# Función para responder a la consulta
+# Función para generar respuestas
 def respond_to_query(user_input):
-    messages = [
-        {"role": "user", "content": user_input},
-    ]
-    outputs = pipeline_model(messages, max_new_tokens=256)
-    return outputs[0]["generated_text"]
+    # Preparar el input
+    inputs = tokenizer.encode(user_input, return_tensors="pt").to(model.device)
+    
+    # Generar respuesta
+    outputs = model.generate(
+        inputs,
+        max_new_tokens=256,
+        do_sample=True,
+        top_p=0.95,
+        top_k=50,
+        temperature=0.7,
+    )
+    
+    # Decodificar y retornar la respuesta
+    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    return response
 
 # Crear la interfaz de Gradio
-gr.Interface(fn=respond_to_query, inputs="text", outputs="text").launch()
+interface = gr.Interface(
+    fn=respond_to_query,
+    inputs=gr.Textbox(label="Tu pregunta"),
+    outputs=gr.Textbox(label="Respuesta"),
+    title="Chatbot con Llama 3.3",
+    description="Haz una pregunta y el modelo te responderá"
+)
 
+if __name__ == "__main__":
+    interface.launch()