Leo8613 commited on
Commit
c7221fd
·
verified ·
1 Parent(s): 4f8c156

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +7 -6
app.py CHANGED
@@ -1,10 +1,11 @@
1
  # Importer les bibliothèques nécessaires
2
  import gradio as gr
3
- from transformers import NVLM_D, AutoTokenizer
4
 
5
  # Charger le modèle et le tokenizer
6
- model = NVLM_D.from_pretrained("SeanScripts/NVLM-D-72B-nf4", trust_remote_code=True)
7
- tokenizer = AutoTokenizer.from_pretrained("SeanScripts/NVLM-D-72B-nf4", trust_remote_code=True)
 
8
 
9
  # Fonction pour effectuer des prédictions
10
  def predict(text):
@@ -12,10 +13,10 @@ def predict(text):
12
  inputs = tokenizer(text, return_tensors="pt")
13
 
14
  # Effectuer la prédiction
15
- outputs = model(**inputs)
16
 
17
- # Extraire et retourner les résultats (vous pouvez adapter cela selon vos besoins)
18
- return outputs.logits.argmax(dim=-1).item() # Exemple de retour de la classe prédite
19
 
20
  # Créer l'interface Gradio
21
  iface = gr.Interface(
 
1
  # Importer les bibliothèques nécessaires
2
  import gradio as gr
3
+ from transformers import AutoModelForCausalLM, AutoTokenizer
4
 
5
  # Charger le modèle et le tokenizer
6
+ model_name = "SeanScripts/NVLM-D-72B-nf4"
7
+ model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True)
8
+ tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
9
 
10
  # Fonction pour effectuer des prédictions
11
  def predict(text):
 
13
  inputs = tokenizer(text, return_tensors="pt")
14
 
15
  # Effectuer la prédiction
16
+ outputs = model.generate(**inputs)
17
 
18
+ # Décoder les résultats et retourner le texte généré
19
+ return tokenizer.decode(outputs[0], skip_special_tokens=True)
20
 
21
  # Créer l'interface Gradio
22
  iface = gr.Interface(