Update app.py

app.py

@@ -1,8 +1,7 @@
 import os
 import gradio as gr
-import torch  # Asegúrate de importar torch si lo estás usando
-from transformers import AutoModelForCausalLM, AutoTokenizer
-from huggingface_hub import login
+import torch
+from transformers import pipeline
 
 # Iniciar sesión en Hugging Face usando el secreto
 huggingface_token = os.getenv('reparbot2')  # Asegúrate de que el nombre coincida
@@ -10,18 +9,23 @@ if huggingface_token is None:
     raise ValueError("El token de Hugging Face no está configurado en las variables de entorno.")
 login(huggingface_token)
 
-# Cargar el modelo y el tokenizador
-model_name = "meta-llama/Llama-3.2-1B-Instruct"
-model = AutoModelForCausalLM.from_pretrained(model_name)
-tokenizer = AutoTokenizer.from_pretrained(model_name)
+# Configurar el modelo
+model_id = "meta-llama/Llama-3.3-70B-Instruct"
+pipeline_model = pipeline(
+    "text-generation",
+    model=model_id,
+    model_kwargs={"torch_dtype": torch.bfloat16},
+    device_map="auto",
+)
 
 # Función para responder a la consulta
 def respond_to_query(user_input):
-    prompt = f"Responde la siguiente pregunta: {user_input}"
-    inputs = tokenizer(prompt, return_tensors="pt")
-    outputs = model.generate(**inputs)
-    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
-    return response
+    messages = [
+        {"role": "user", "content": user_input},
+    ]
+    outputs = pipeline_model(messages, max_new_tokens=256)
+    return outputs[0]["generated_text"]
 
 # Crear la interfaz de Gradio
 gr.Interface(fn=respond_to_query, inputs="text", outputs="text").launch()
+