Spaces:
Running
Running
Update app.py
Browse files
app.py
CHANGED
@@ -51,12 +51,12 @@ print("Cargando modelo ligero...")
|
|
51 |
model_name = "microsoft/phi-2" # Modelo de 2.7B par谩metros, mucho m谩s ligero que 7B
|
52 |
|
53 |
# Configuraci贸n para reducir el uso de memoria
|
|
|
54 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
55 |
model = AutoModelForCausalLM.from_pretrained(
|
56 |
model_name,
|
57 |
torch_dtype=torch.float32,
|
58 |
-
low_cpu_mem_usage=True
|
59 |
-
device_map="auto"
|
60 |
)
|
61 |
|
62 |
# Crear el pipeline de generaci贸n de texto
|
@@ -89,4 +89,5 @@ demo = gr.Interface(
|
|
89 |
# Lanzar la aplicaci贸n con configuraci贸n para ahorrar memoria
|
90 |
if __name__ == "__main__":
|
91 |
# Configurar menos workers para ahorrar memoria
|
92 |
-
demo.queue(max_size=1).launch(share=False, debug=False)
|
|
|
|
51 |
model_name = "microsoft/phi-2" # Modelo de 2.7B par谩metros, mucho m谩s ligero que 7B
|
52 |
|
53 |
# Configuraci贸n para reducir el uso de memoria
|
54 |
+
# IMPORTANTE: Eliminamos device_map="auto" que no es compatible con Phi-2
|
55 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
56 |
model = AutoModelForCausalLM.from_pretrained(
|
57 |
model_name,
|
58 |
torch_dtype=torch.float32,
|
59 |
+
low_cpu_mem_usage=True
|
|
|
60 |
)
|
61 |
|
62 |
# Crear el pipeline de generaci贸n de texto
|
|
|
89 |
# Lanzar la aplicaci贸n con configuraci贸n para ahorrar memoria
|
90 |
if __name__ == "__main__":
|
91 |
# Configurar menos workers para ahorrar memoria
|
92 |
+
demo.queue(max_size=1).launch(share=False, debug=False)
|
93 |
+
|