import os from dotenv import load_dotenv import gradio as gr from transformers import AutoModelForCausalLM, AutoTokenizer from huggingface_hub import login # Cargar las variables de entorno desde el archivo .env load_dotenv() # Iniciar sesión en Hugging Face usando la variable de entorno huggingface_token = os.getenv('HUGGINGFACE_TOKEN') if huggingface_token is None: raise ValueError("El token de Hugging Face no está configurado en las variables de entorno.") login(huggingface_token) # Cargar el modelo y el tokenizador model_name = "meta-llama/Llama-3.2-1B-Instruct" # Asegúrate de que este sea el nombre correcto model = AutoModelForCausalLM.from_pretrained(model_name) tokenizer = AutoTokenizer.from_pretrained(model_name) # Leer el archivo de texto with open("reparaciones.txt", "r") as file: informacion_adicional = file.read() def respond_to_query(user_input): # Crear el prompt prompt = f"{informacion_adicional} Responde la siguiente pregunta: {user_input}" # Tokenizar el prompt inputs = tokenizer(prompt, return_tensors="pt") # Generar la respuesta outputs = model.generate(**inputs) response = tokenizer.decode(outputs[0], skip_special_tokens=True) return response # Crear la interfaz de Gradio gr.Interface(fn=respond_to_query, inputs="text", outputs="text").launch()