Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
@@ -13,8 +13,6 @@ def tokenize(input_text):
|
|
13 |
gpt_neox_tokens = gpt_neox_tokenizer(input_text)["input_ids"]
|
14 |
llama_tokens = llama_tokenizer(input_text)["input_ids"]
|
15 |
|
16 |
-
|
17 |
-
|
18 |
return f"GPT-2: {len(gpt2_tokens)}\nGPT-J: {len(gptj_tokens)}\nGPT-NeoX: {len(gpt_neox_tokens)}\nLLaMa: {len(llama_tokens)}"
|
19 |
|
20 |
iface = gr.Interface(fn=tokenize, inputs=gr.Textbox(lines=7), outputs="text")
|
|
|
13 |
gpt_neox_tokens = gpt_neox_tokenizer(input_text)["input_ids"]
|
14 |
llama_tokens = llama_tokenizer(input_text)["input_ids"]
|
15 |
|
|
|
|
|
16 |
return f"GPT-2: {len(gpt2_tokens)}\nGPT-J: {len(gptj_tokens)}\nGPT-NeoX: {len(gpt_neox_tokens)}\nLLaMa: {len(llama_tokens)}"
|
17 |
|
18 |
iface = gr.Interface(fn=tokenize, inputs=gr.Textbox(lines=7), outputs="text")
|