Spaces:
Running
on
Zero
Running
on
Zero
Update app.py
Browse files
app.py
CHANGED
@@ -30,7 +30,10 @@ def rnd_generate(prompt):
|
|
30 |
@spaces.GPU
|
31 |
def generate(prompt):
|
32 |
result_length = len(prompt) + 4
|
33 |
-
|
|
|
|
|
|
|
34 |
inputs = tokenizer(prompt, return_tensors="pt").to('cuda') # 回傳的張量使用 Pytorch的格式。如果是 Tensorflow 格式的話,則指定為 "tf"。
|
35 |
results = model.generate(inputs["input_ids"],
|
36 |
num_return_sequences=2, # 產生 2 個句子回來。
|
|
|
30 |
@spaces.GPU
|
31 |
def generate(prompt):
|
32 |
result_length = len(prompt) + 4
|
33 |
+
try:
|
34 |
+
prompt = prompt.split("<bos>")[1]
|
35 |
+
except IndexError:
|
36 |
+
prompt = prompt
|
37 |
inputs = tokenizer(prompt, return_tensors="pt").to('cuda') # 回傳的張量使用 Pytorch的格式。如果是 Tensorflow 格式的話,則指定為 "tf"。
|
38 |
results = model.generate(inputs["input_ids"],
|
39 |
num_return_sequences=2, # 產生 2 個句子回來。
|