Geraldine commited on
Commit
bb2fb4d
·
verified ·
1 Parent(s): 228ceb2

Upload .env

Browse files
Files changed (1) hide show
  1. .env +22 -0
.env ADDED
@@ -0,0 +1,22 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ # Où stocker les modèles dans le conteneur
2
+ MODELS_DIR=/models
3
+
4
+ # Modèle actif au boot (si le fichier existe déjà) — peut rester vide
5
+ #MODEL_PATH=/models/gemma-3-270m-it-Q4_K_M.gguf
6
+ MODEL_PATH=
7
+
8
+ # Auto-load si le fichier manque :
9
+ AUTO_REPO_ID=unsloth/gemma-3-270m-it-GGUF
10
+ AUTO_FILENAME=gemma-3-270m-it-Q8_0.gguf
11
+ AUTO_IF_MISSING=true # ne télécharge que si MODEL_PATH (ou /models/<AUTO_FILENAME>) est absent
12
+ AUTO_PRELOAD=false # si true, charge en mémoire au démarrage (sinon lazy)
13
+
14
+ # Inference
15
+ N_THREADS=8
16
+ N_CTX=4096
17
+ N_BATCH=256
18
+ N_GPU_LAYERS=0
19
+
20
+ # Réseau
21
+ HOST=0.0.0.0
22
+ PORT=8000