Serveurperso commited on
Commit
184d956
·
verified ·
1 Parent(s): 5d33da9

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +8 -9
app.py CHANGED
@@ -7,11 +7,10 @@ from huggingface_hub import login
7
 
8
  # 🔥 Installation/mise à jour des dépendances uniquement si nécessaire
9
  print("🚀 Vérification et mise à jour des dépendances...")
10
- os.system("pip install --no-cache-dir -U transformers peft accelerate torch bitsandbytes scipy")
11
 
12
- # 🔥 Correction de `libstdc++6` pour éviter les erreurs `bitsandbytes`
13
  os.system("apt-get update && apt-get install -y --reinstall libstdc++6")
14
- os.system("ln -sf /usr/lib/x86_64-linux-gnu/libstdc++.so.6.0.30 /usr/lib/x86_64-linux-gnu/libstdc++.so.6")
15
 
16
  print("✅ Dépendances corrigées et mises à jour !")
17
 
@@ -24,15 +23,15 @@ LORA_MODEL = "Serveurperso/gemma-2-2b-it-LoRA"
24
 
25
  print("🚀 Chargement du modèle Gemma 2B avec LoRA Mémé Ginette...")
26
 
27
- # 📌 Gestion automatique CPU/GPU
28
- device = "cuda" if torch.cuda.is_available() else "cpu"
29
 
30
  # 📌 Chargement du modèle principal
31
  try:
32
  model = AutoModelForCausalLM.from_pretrained(
33
  BASE_MODEL,
34
- device_map="auto" if torch.cuda.is_available() else "cpu", # Auto sur GPU si dispo
35
- torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
36
  trust_remote_code=True
37
  )
38
 
@@ -40,8 +39,8 @@ try:
40
  model = PeftModel.from_pretrained(
41
  model,
42
  LORA_MODEL,
43
- device_map="auto" if torch.cuda.is_available() else "cpu",
44
- torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
45
  )
46
 
47
  tokenizer = AutoTokenizer.from_pretrained(LORA_MODEL)
 
7
 
8
  # 🔥 Installation/mise à jour des dépendances uniquement si nécessaire
9
  print("🚀 Vérification et mise à jour des dépendances...")
10
+ os.system("pip install --no-cache-dir -U transformers peft accelerate torch scipy")
11
 
12
+ # 🔥 Correction de `libstdc++6` pour éviter les erreurs
13
  os.system("apt-get update && apt-get install -y --reinstall libstdc++6")
 
14
 
15
  print("✅ Dépendances corrigées et mises à jour !")
16
 
 
23
 
24
  print("🚀 Chargement du modèle Gemma 2B avec LoRA Mémé Ginette...")
25
 
26
+ # 📌 Forcer le CPU (pas de `bitsandbytes`)
27
+ device = "cpu"
28
 
29
  # 📌 Chargement du modèle principal
30
  try:
31
  model = AutoModelForCausalLM.from_pretrained(
32
  BASE_MODEL,
33
+ device_map=device, # **Forcé sur CPU**
34
+ torch_dtype=torch.float32, # **Pas de float16 car CPU**
35
  trust_remote_code=True
36
  )
37
 
 
39
  model = PeftModel.from_pretrained(
40
  model,
41
  LORA_MODEL,
42
+ device_map=device, # **Forcé sur CPU**
43
+ torch_dtype=torch.float32, # **Pas de float16 car CPU**
44
  )
45
 
46
  tokenizer = AutoTokenizer.from_pretrained(LORA_MODEL)