app.py

import gradio as gr
from kannadaTokenizer import KannadaTokenizer

def inference(text):
    tokenizer = KannadaTokenizer()
    tokenizer.load("./models/kannada.model")
    tokens = tokenizer.encode(text)
    count = len(tokens)
    return count, tokens




title = "Kannada tokenizer."
description = "A simple Gradio interface to demo tokenizer for Kannada language"
examples = [["ನಾನು ದೇವರನ್ನು ತುಂಬಾ ನಂಬುತ್ತೇನೆ"],
            ["ನನ್ನ ಹೆತ್ತವರಿಗೆ ಮತ್ತು ಯೋಧರಿಗೆ ನಾನು ನಮಸ್ಕರಿಸುತ್ತೇನೆ"],
            ["ನನ್ನ ಗುರುಗಳಿಗೆ ದೀರ್ಘಾಯುಷ್ಯ ನೀಡಲಿ ಎಂದು ದೇವರಲ್ಲಿ ಪ್ರಾರ್ಥಿಸುತ್ತೇನೆ"]]
demo = gr.Interface(
    inference,
    inputs=[
        gr.TextArea(label="Enter text")
    ],
    outputs=[
        gr.Textbox(label="Token count"),
        gr.TextArea(label="Tokens")
    ],
    title=title,
    description=description,
    examples=examples,
    cache_examples=False,
    live=True
)
demo.launch()