xzuyn commited on
Commit
15a4406
·
1 Parent(s): 0cd4c34

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +0 -2
app.py CHANGED
@@ -13,8 +13,6 @@ def tokenize(input_text):
13
  gpt_neox_tokens = gpt_neox_tokenizer(input_text)["input_ids"]
14
  llama_tokens = llama_tokenizer(input_text)["input_ids"]
15
 
16
-
17
-
18
  return f"GPT-2: {len(gpt2_tokens)}\nGPT-J: {len(gptj_tokens)}\nGPT-NeoX: {len(gpt_neox_tokens)}\nLLaMa: {len(llama_tokens)}"
19
 
20
  iface = gr.Interface(fn=tokenize, inputs=gr.Textbox(lines=7), outputs="text")
 
13
  gpt_neox_tokens = gpt_neox_tokenizer(input_text)["input_ids"]
14
  llama_tokens = llama_tokenizer(input_text)["input_ids"]
15
 
 
 
16
  return f"GPT-2: {len(gpt2_tokens)}\nGPT-J: {len(gptj_tokens)}\nGPT-NeoX: {len(gpt_neox_tokens)}\nLLaMa: {len(llama_tokens)}"
17
 
18
  iface = gr.Interface(fn=tokenize, inputs=gr.Textbox(lines=7), outputs="text")