Update app.py

app.py

@@ -24,9 +24,9 @@ try:
     import psutil
     import resource
     total_memory = psutil.virtual_memory().total
-    limit = int(total_memory * 0.01)  # 1% del total en bytes
+    limit = int(total_memory * 0.01)  # 1% del total en bytes # Corrección: Usar 0.01 para 1%
     resource.setrlimit(resource.RLIMIT_AS, (limit, limit))
-#    print(f"Memory limit set to {limit} bytes (1% of total system memory).")
+    print(f"Memory limit set to {limit} bytes (1% of total system memory).") # Imprimir para verificar el límite aplicado
 except Exception as e:
     print("No se pudo establecer el límite de memoria:", e)
 # --- Fin del bloque de limitación de RAM ---
@@ -171,6 +171,7 @@ async def stream_text(model, tokenizer, input_text, generation_config, stopping_
             stopping_criteria=stopping_criteria_list,
             return_dict_in_generate=True,
             output_scores=True,
+            # stream=True, # Eliminar 'stream=True' aquí, ya que GenerationConfig lo maneja
         ):
             # Se extraen solo los tokens generados (excluyendo la entrada)
             new_tokens = output.sequences[:, encoded_input_len:]