dofbi commited on
Commit
fe41d32
1 Parent(s): af1cf71
Files changed (1) hide show
  1. app.py +2 -0
app.py CHANGED
@@ -1,6 +1,7 @@
1
  from transformers import AutoModelForCausalLM, AutoTokenizer
2
  import gradio as gr
3
  import torch
 
4
 
5
  # Vérifier si CUDA est disponible et configurer le périphérique
6
  device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
@@ -12,6 +13,7 @@ tokenizer = AutoTokenizer.from_pretrained(model_name)
12
  model = AutoModelForCausalLM.from_pretrained(model_name).to(device)
13
 
14
  # Fonction pour générer une réponse
 
15
  def generate_response(user_input, max_new_tokens=150, temperature=0.7):
16
  # Préparer l'entrée pour le modèle
17
  inputs = tokenizer(user_input, return_tensors="pt").to(device)
 
1
  from transformers import AutoModelForCausalLM, AutoTokenizer
2
  import gradio as gr
3
  import torch
4
+ import spaces
5
 
6
  # Vérifier si CUDA est disponible et configurer le périphérique
7
  device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
 
13
  model = AutoModelForCausalLM.from_pretrained(model_name).to(device)
14
 
15
  # Fonction pour générer une réponse
16
+ @spaces.GPU(duration=120)
17
  def generate_response(user_input, max_new_tokens=150, temperature=0.7):
18
  # Préparer l'entrée pour le modèle
19
  inputs = tokenizer(user_input, return_tensors="pt").to(device)