Update app.py

app.py

@@ -18,12 +18,12 @@ def medir_tiempo(func):
         return resultado
     return wrapper
 
-# Verificar si CUDA está disponible
+# Verificar si CUDA está disponible para el modelo principal
 device = "cuda" if torch.cuda.is_available() else "cpu"
 if device == "cpu":
     print("Advertencia: CUDA no está disponible. Se usará la CPU, lo que puede ser lento.")
 
-# Cargar el tokenizador y el modelo desde HuggingFace
+# Cargar el tokenizador y el modelo principal desde HuggingFace
 model_name = "dmis-lab/selfbiorag_7b"
 
 try:
@@ -42,12 +42,12 @@ except Exception as e:
     print(f"Error al cargar el modelo: {e}")
     sys.exit(1)
 
-# Cargar el modelo de traducción
+# Cargar el modelo de traducción en CPU
 try:
-    print("Cargando el tokenizador y el modelo de traducción...")
+    print("Cargando el tokenizador y el modelo de traducción en CPU...")
     translation_model_name = "Helsinki-NLP/opus-mt-en-es"
     translator_tokenizer = MarianTokenizer.from_pretrained(translation_model_name)
-    translator_model = MarianMTModel.from_pretrained(translation_model_name).to(device)
+    translator_model = MarianMTModel.from_pretrained(translation_model_name).to("cpu")  # Forzar a CPU
 except Exception as e:
     print(f"Error al cargar el modelo de traducción: {e}")
     sys.exit(1)
@@ -68,9 +68,9 @@ def generar_respuesta(consulta):
         # Configurar los parámetros de generación
         generation_kwargs = {
             "max_new_tokens": 100,  # Ajustado a 100
-            "do_sample": False       # Configura según la opción deseada
-            # "temperature": 0.0,    # Comenta o elimina si do_sample=False
-            # "top_p": 1.0            # Comenta o elimina si do_sample=False
+            "do_sample": False       # No usar sampling
+            # "temperature": 0.6,    # Eliminado para evitar advertencias
+            # "top_p": 0.9            # Eliminado para evitar advertencias
         }
         
         # Generar la respuesta
@@ -93,7 +93,7 @@ def traducir_texto(texto):
             return "No hay texto para traducir."
         
         # Tokenizar el texto a traducir
-        translated = translator_model.generate(**translator_tokenizer(texto, return_tensors="pt", padding=True).to(device))
+        translated = translator_model.generate(**translator_tokenizer(texto, return_tensors="pt", padding=True))
         
         # Decodificar la traducción
         traduccion = translator_tokenizer.decode(translated[0], skip_special_tokens=True)