Spaces:
Running
on
Zero
Running
on
Zero
update
Browse files
app.py
CHANGED
@@ -1,6 +1,7 @@
|
|
1 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
2 |
import gradio as gr
|
3 |
import torch
|
|
|
4 |
|
5 |
# Vérifier si CUDA est disponible et configurer le périphérique
|
6 |
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
|
@@ -12,6 +13,7 @@ tokenizer = AutoTokenizer.from_pretrained(model_name)
|
|
12 |
model = AutoModelForCausalLM.from_pretrained(model_name).to(device)
|
13 |
|
14 |
# Fonction pour générer une réponse
|
|
|
15 |
def generate_response(user_input, max_new_tokens=150, temperature=0.7):
|
16 |
# Préparer l'entrée pour le modèle
|
17 |
inputs = tokenizer(user_input, return_tensors="pt").to(device)
|
|
|
1 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
2 |
import gradio as gr
|
3 |
import torch
|
4 |
+
import spaces
|
5 |
|
6 |
# Vérifier si CUDA est disponible et configurer le périphérique
|
7 |
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
|
|
|
13 |
model = AutoModelForCausalLM.from_pretrained(model_name).to(device)
|
14 |
|
15 |
# Fonction pour générer une réponse
|
16 |
+
@spaces.GPU(duration=120)
|
17 |
def generate_response(user_input, max_new_tokens=150, temperature=0.7):
|
18 |
# Préparer l'entrée pour le modèle
|
19 |
inputs = tokenizer(user_input, return_tensors="pt").to(device)
|