baconnier commited on
Commit
225d015
·
verified ·
1 Parent(s): b8b99ae

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +6 -0
app.py CHANGED
@@ -71,6 +71,12 @@ if not hasattr(config, "intermediate_size"):
71
 
72
  if not hasattr(config, "num_attention_heads"):
73
  config.num_attention_heads = 10 # Valeur correcte pour Gemma 3 4B
 
 
 
 
 
 
74
 
75
 
76
  tokenizer = AutoTokenizer.from_pretrained(model_id)
 
71
 
72
  if not hasattr(config, "num_attention_heads"):
73
  config.num_attention_heads = 10 # Valeur correcte pour Gemma 3 4B
74
+
75
+ if not hasattr(config, "sliding_window"):
76
+ config.sliding_window = 1024 # Valeur correcte pour Gemma 3
77
+
78
+ if not hasattr(config, "rope_scaling"):
79
+ config.rope_scaling = {"factor": 8.0, "rope_type": "linear"} # Valeur correcte pour Gemma 3
80
 
81
 
82
  tokenizer = AutoTokenizer.from_pretrained(model_id)