Update app.py

app.py

@@ -1,92 +1,34 @@
 import gradio as gr
-from transformers import AutoModelForCausalLM, AutoTokenizer
+from transformers import T5Tokenizer, T5ForConditionalGeneration
 import torch
-import os
-import gc
 
-model = None
-tokenizer = None
+# Cargar modelo y tokenizer
+model_name = "google/flan-t5-base"
+tokenizer = T5Tokenizer.from_pretrained(model_name)
+model = T5ForConditionalGeneration.from_pretrained(model_name)
 
 def get_system_prompt():
     with open("prompt.txt", "r", encoding="utf-8") as f:
         return f.read().strip()
 
-def load_model_if_needed():
-    global model, tokenizer
+def generate_response(user_input):
+    system_prompt = get_system_prompt()
+    full_prompt = f"{system_prompt}\n\nUsuario: {user_input}\nBITER:"
 
-    if model is None:
-        print("🔁 Cargando modelo Falcon-7B-Instruct...")
+    inputs = tokenizer(full_prompt, return_tensors="pt")
+    output = model.generate(**inputs, max_new_tokens=200)
 
-        model_name = "tiiuae/falcon-7b-instruct"
-
-        tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
-        model = AutoModelForCausalLM.from_pretrained(
-            model_name,
-            torch_dtype=torch.float32,
-            trust_remote_code=True,
-            low_cpu_mem_usage=True
-        )
-
-        model = model.to("cpu")
-
-        gc.collect()
-        torch.cuda.empty_cache() if torch.cuda.is_available() else None
-
-        print("✅ Modelo Falcon-7B cargado en CPU")
-
-def generate_response(user_message):
-    try:
-        load_model_if_needed()
-
-        if not user_message.strip():
-            return "Por favor, escribe una pregunta para que pueda ayudarte."
-
-        system_prompt = get_system_prompt()
-
-        prompt = f"{system_prompt}\n\nUsuario: {user_message}\nBITER:"
-
-        inputs = tokenizer(prompt, return_tensors="pt")
-
-        generation_config = {
-            "max_new_tokens": 400,
-            "temperature": 0.7,
-            "top_p": 0.9,
-            "do_sample": True,
-            "pad_token_id": tokenizer.eos_token_id,
-            "num_return_sequences": 1
-        }
-
-        with torch.no_grad():
-            outputs = model.generate(**inputs, **generation_config)
-
-        response = tokenizer.decode(outputs[0], skip_special_tokens=True)
-        answer = response.replace(prompt, "").strip()
-
-        gc.collect()
-        torch.cuda.empty_cache() if torch.cuda.is_available() else None
-
-        return answer
-
-    except Exception as e:
-        print(f"Error: {str(e)}")
-        return f"❌ Lo siento, ha ocurrido un error: {str(e)}"
+    decoded_output = tokenizer.decode(output[0], skip_special_tokens=True)
+    return decoded_output.strip()
 
+# Interfaz Gradio para probar el modelo directamente en Hugging Face
 demo = gr.Interface(
     fn=generate_response,
-    inputs=gr.Textbox(
-        placeholder="Escribe tu pregunta sobre emprendimiento aquí...",
-        label="Tu pregunta"
-    ),
-    outputs=gr.Textbox(label="Respuesta de BITER"),
-    title="BITER - Tu Mentor en Tiempo Real para Decisiones de Negocio",
-    description="BITER es un asistente de IA que responde dudas de emprendedores como si fuera un CEO experimentado.",
-    examples=[
-        ["¿Cómo puedo validar mi idea de negocio con poco presupuesto?"],
-        ["¿Cuál es la mejor estrategia para conseguir mis primeros clientes?"],
-        ["¿Debería invertir en publicidad en redes sociales o en SEO?"]
-    ],
-    allow_flagging="never"
+    inputs=gr.Textbox(lines=2, placeholder="Escribe tu pregunta..."),
+    outputs=gr.Textbox(),
+    title="BITER - Mentor IA para Emprendedores",
+    description="Respuestas rápidas, estratégicas y en español. Como un CEO que te asesora al instante.",
 )
 
 if __name__ == "__main__":
-    demo.queue(max_size=1).launch(share=False, debug=False)
+    demo.launch()