Spaces:
Runtime error
Runtime error
Update app.py
Browse files
app.py
CHANGED
@@ -7,11 +7,10 @@ from huggingface_hub import login
|
|
7 |
|
8 |
# 🔥 Installation/mise à jour des dépendances uniquement si nécessaire
|
9 |
print("🚀 Vérification et mise à jour des dépendances...")
|
10 |
-
os.system("pip install --no-cache-dir -U transformers peft accelerate torch
|
11 |
|
12 |
-
# 🔥 Correction de `libstdc++6` pour éviter les erreurs
|
13 |
os.system("apt-get update && apt-get install -y --reinstall libstdc++6")
|
14 |
-
os.system("ln -sf /usr/lib/x86_64-linux-gnu/libstdc++.so.6.0.30 /usr/lib/x86_64-linux-gnu/libstdc++.so.6")
|
15 |
|
16 |
print("✅ Dépendances corrigées et mises à jour !")
|
17 |
|
@@ -24,15 +23,15 @@ LORA_MODEL = "Serveurperso/gemma-2-2b-it-LoRA"
|
|
24 |
|
25 |
print("🚀 Chargement du modèle Gemma 2B avec LoRA Mémé Ginette...")
|
26 |
|
27 |
-
# 📌
|
28 |
-
device = "
|
29 |
|
30 |
# 📌 Chargement du modèle principal
|
31 |
try:
|
32 |
model = AutoModelForCausalLM.from_pretrained(
|
33 |
BASE_MODEL,
|
34 |
-
device_map=
|
35 |
-
torch_dtype=torch.
|
36 |
trust_remote_code=True
|
37 |
)
|
38 |
|
@@ -40,8 +39,8 @@ try:
|
|
40 |
model = PeftModel.from_pretrained(
|
41 |
model,
|
42 |
LORA_MODEL,
|
43 |
-
device_map=
|
44 |
-
torch_dtype=torch.
|
45 |
)
|
46 |
|
47 |
tokenizer = AutoTokenizer.from_pretrained(LORA_MODEL)
|
|
|
7 |
|
8 |
# 🔥 Installation/mise à jour des dépendances uniquement si nécessaire
|
9 |
print("🚀 Vérification et mise à jour des dépendances...")
|
10 |
+
os.system("pip install --no-cache-dir -U transformers peft accelerate torch scipy")
|
11 |
|
12 |
+
# 🔥 Correction de `libstdc++6` pour éviter les erreurs
|
13 |
os.system("apt-get update && apt-get install -y --reinstall libstdc++6")
|
|
|
14 |
|
15 |
print("✅ Dépendances corrigées et mises à jour !")
|
16 |
|
|
|
23 |
|
24 |
print("🚀 Chargement du modèle Gemma 2B avec LoRA Mémé Ginette...")
|
25 |
|
26 |
+
# 📌 Forcer le CPU (pas de `bitsandbytes`)
|
27 |
+
device = "cpu"
|
28 |
|
29 |
# 📌 Chargement du modèle principal
|
30 |
try:
|
31 |
model = AutoModelForCausalLM.from_pretrained(
|
32 |
BASE_MODEL,
|
33 |
+
device_map=device, # **Forcé sur CPU**
|
34 |
+
torch_dtype=torch.float32, # **Pas de float16 car CPU**
|
35 |
trust_remote_code=True
|
36 |
)
|
37 |
|
|
|
39 |
model = PeftModel.from_pretrained(
|
40 |
model,
|
41 |
LORA_MODEL,
|
42 |
+
device_map=device, # **Forcé sur CPU**
|
43 |
+
torch_dtype=torch.float32, # **Pas de float16 car CPU**
|
44 |
)
|
45 |
|
46 |
tokenizer = AutoTokenizer.from_pretrained(LORA_MODEL)
|