askbyte commited on
Commit
7b48c13
verified
1 Parent(s): 3e9bc78

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +4 -3
app.py CHANGED
@@ -51,12 +51,12 @@ print("Cargando modelo ligero...")
51
  model_name = "microsoft/phi-2" # Modelo de 2.7B par谩metros, mucho m谩s ligero que 7B
52
 
53
  # Configuraci贸n para reducir el uso de memoria
 
54
  tokenizer = AutoTokenizer.from_pretrained(model_name)
55
  model = AutoModelForCausalLM.from_pretrained(
56
  model_name,
57
  torch_dtype=torch.float32,
58
- low_cpu_mem_usage=True,
59
- device_map="auto"
60
  )
61
 
62
  # Crear el pipeline de generaci贸n de texto
@@ -89,4 +89,5 @@ demo = gr.Interface(
89
  # Lanzar la aplicaci贸n con configuraci贸n para ahorrar memoria
90
  if __name__ == "__main__":
91
  # Configurar menos workers para ahorrar memoria
92
- demo.queue(max_size=1).launch(share=False, debug=False)
 
 
51
  model_name = "microsoft/phi-2" # Modelo de 2.7B par谩metros, mucho m谩s ligero que 7B
52
 
53
  # Configuraci贸n para reducir el uso de memoria
54
+ # IMPORTANTE: Eliminamos device_map="auto" que no es compatible con Phi-2
55
  tokenizer = AutoTokenizer.from_pretrained(model_name)
56
  model = AutoModelForCausalLM.from_pretrained(
57
  model_name,
58
  torch_dtype=torch.float32,
59
+ low_cpu_mem_usage=True
 
60
  )
61
 
62
  # Crear el pipeline de generaci贸n de texto
 
89
  # Lanzar la aplicaci贸n con configuraci贸n para ahorrar memoria
90
  if __name__ == "__main__":
91
  # Configurar menos workers para ahorrar memoria
92
+ demo.queue(max_size=1).launch(share=False, debug=False)
93
+