import gradio as gr from transformers import AutoModelForCausalLM, AutoTokenizer import torch import os import gc # Variables globales para el modelo y tokenizador model = None tokenizer = None # Cargar el prompt desde el archivo def get_system_prompt(): with open("prompt.txt", "r", encoding="utf-8") as f: return f.read().strip() # Función para cargar el modelo (se ejecutará solo cuando sea necesario) def load_model_if_needed(): global model, tokenizer if model is None: print("Cargando modelo Mistral-7B-Instruct-v0.1...") # Cargar el tokenizador model_name = "mistralai/Mistral-7B-Instruct-v0.1" tokenizer = AutoTokenizer.from_pretrained(model_name) # Configuración para CPU con optimizaciones de memoria model = AutoModelForCausalLM.from_pretrained( model_name, torch_dtype=torch.float32, # Usar float32 para CPU low_cpu_mem_usage=True, # Optimización para CPU con poca memoria ) # Mover el modelo a CPU explícitamente model = model.to("cpu") # Forzar recolección de basura para liberar memoria gc.collect() torch.cuda.empty_cache() if torch.cuda.is_available() else None print("Modelo cargado correctamente en CPU!") # Función principal que procesa las preguntas del usuario def generate_response(user_message): try: # Cargar el modelo si aún no está cargado load_model_if_needed() if not user_message.strip(): return "Por favor, escribe una pregunta para que pueda ayudarte." # Obtener el prompt del sistema system_prompt = get_system_prompt() # Formato de prompt para Mistral-7B-Instruct-v0.1 prompt = f"""[INST] {system_prompt} Pregunta del usuario: {user_message} [/INST]""" # Tokenizar el prompt inputs = tokenizer(prompt, return_tensors="pt") # Configuración de generación optimizada para CPU generation_config = { "max_new_tokens": 512, # Limitar tokens para ahorrar memoria "temperature": 0.7, "top_p": 0.9, "do_sample": True, "pad_token_id": tokenizer.eos_token_id, "num_return_sequences": 1 } # Generar respuesta with torch.no_grad(): outputs = model.generate(**inputs, **generation_config) # Decodificar la respuesta full_response = tokenizer.decode(outputs[0], skip_special_tokens=True) # Extraer solo la respuesta del asistente (después del prompt) assistant_response = full_response.replace(prompt.replace("", "").replace("", ""), "").strip() # Forzar recolección de basura para liberar memoria gc.collect() torch.cuda.empty_cache() if torch.cuda.is_available() else None return assistant_response except Exception as e: print(f"Error: {str(e)}") return f"Lo siento, ha ocurrido un error: {str(e)}" # Crear la interfaz de Gradio demo = gr.Interface( fn=generate_response, inputs=gr.Textbox( placeholder="Escribe tu pregunta sobre emprendimiento aquí...", label="Tu pregunta" ), outputs=gr.Textbox(label="Respuesta de BITER"), title="BITER - Tu Mentor en Tiempo Real para Decisiones de Negocio", description="BITER es un asistente de IA que responde dudas de emprendedores como si fuera un CEO experimentado.", examples=[ ["¿Cómo puedo validar mi idea de negocio con poco presupuesto?"], ["¿Cuál es la mejor estrategia para conseguir mis primeros clientes?"], ["¿Debería invertir en publicidad en redes sociales o en SEO?"] ], allow_flagging="never" ) # Lanzar la aplicación con configuración para ahorrar memoria if __name__ == "__main__": # Configurar menos workers para ahorrar memoria demo.queue(max_size=1).launch(share=False, debug=False)