Update djezzy.py

djezzy.py

@@ -29,9 +29,16 @@ model_name = "sentence-transformers/all-MiniLM-L6-v2"
 embedding_llm = SentenceTransformerEmbeddings(model_name=model_name)
 
 from transformers import T5Tokenizer, T5ForConditionalGeneration
-
+compute_dtype = getattr(torch, bnb_8bit_compute_dtype)
+
+bnb_config =BitsAndBytesConfig(
+    load_in_8bit=True,  # Activer la quantification 8 bits pour le chargement du modèle
+    bnb_8bit_quant_type="...",
+    bnb_8bit_compute_dtype="uint8",  # Définissez le type de données de calcul sur un entier non signé de 8 bits
+    bnb_8bit_use_double_quant=False,  # Désactiver la quantification imbriquée (si non applicable)
+)
 tokenizer1 = T5Tokenizer.from_pretrained("google/flan-t5-xl")
-model1 = T5ForConditionalGeneration.from_pretrained("google/flan-t5-xl",load_in_8bit=True)
+model1 = T5ForConditionalGeneration.from_pretrained("google/flan-t5-xl",quantization_config=bnb_config)
 with tempfile.TemporaryDirectory() as temp_dir:
     # Chemins des fichiers cibles dans le répertoire temporaire
     index_target = os.path.join(temp_dir, 'index.faiss')