Spaces:
Running
Running
| import os | |
| import gradio as gr | |
| from gradio.components import Slider | |
| import torch | |
| from transformers import pipeline | |
| # Model, information and examples ---------------------------------------------- | |
| MODEL_NAMES = ["FLOR-1.3B-GL","Cerebras-1.3B-GL"] | |
| markdown_description = """ | |
| # LLMs de galego / Galician LLMs | |
| Este espazo contén diferentes Grandes Modelos da Linguaxe feitos para o galego desenvolvidos polo [Proxecto Nós](https://nos.gal/en/proxecto-nos). | |
| *This space contains the Galician language models developed by [Proxecto Nós](https://nos.gal/en/proxecto-nos).* | |
| 💐 **[FLOR-1.3B-GL](https://huggingface.co/proxectonos/FLOR-1.3B-GL)** é un modelo de parámetros 1.3B que é un preadestramento continuo de [FLOR-1.3B]( https://huggingface.co/projecte-aina/FLOR-1.3B), baseado a súa vez en [Bloom 1.7B](https://huggingface.co/bigscience/bloom-1b7). | |
| *💐 **[FLOR-1.3B-GL](https://huggingface.co/proxectonos/FLOR-1.3B-GL)** is a 1.3B parameters model which is a Continual pretraining from [FLOR-1.3B](https://huggingface.co/projecte-aina/FLOR-1.3B), which is based in [Bloom 1.7B](https://huggingface.co/bigscience/bloom-1b7).* | |
| 👀 **Máis información sobre FLOR-1.3B-GL:** [tarxeta modelo oficial HF](https://huggingface.co/proxectonos/FLOR-1.3B-GL). | |
| *👀 **Learn more about FLOR-1.3B-GL:** [HF official model card](https://huggingface.co/proxectonos/FLOR-1.3B-GL).* | |
| 🧠 **[Cerebras-1.3B-GL](https://huggingface.co/proxectonos/Cerebras-1.3B-GL)** é un modelo de parámetros 1.3B baseado en [Cerebras-GPT 1.3B](https://huggingface.co/cerebras/Cerebras-GPT-1.3B). | |
| *🧠 **[Cerebras-1.3B-GL](https://huggingface.co/proxectonos/Cerebras-1.3B-GL)** is a 1.3B parameters model based in [Cerebras-GPT 1.3B](https://huggingface.co/cerebras/Cerebras-GPT-1.3B).* | |
| 👀 **Máis información sobre Cerebras-1.3B-GL:** [tarxeta modelo oficial HF](https://huggingface.co/proxectonos/Cerebras-1.3B-GL) | |
| *👀 **Learn more about Cerebras-1.3B-GL:** [HF official model card](https://huggingface.co/proxectonos/Cerebras-1.3B-GL)* | |
| """ | |
| short_prompts_examples = [ | |
| ["A receita tradicional das filloas é"], | |
| ["O neno vivía preto de"] | |
| ] | |
| few_shot_prompts_examples = [ | |
| ["Responde á seguinte pregunta. \nPregunta: \"Cal é a capital de Noruega? \"\nResposta: \"A capital de Noruega é Oslo.\"\n---- \nResponde á seguinte pregunta.\nPregunta: \"Cal é a moeda de Portugal\" \nResposta: \"A moeda de Portugal é o euro.\" \n---- \nResponde á seguinte pregunta. \nPregunta: \"Cal é a capital de Suecia?\"\nResposta:"], | |
| ["Extrae as entidades nomeadas do seguinte texto: \nTexto: \"Chámome Wolfgang e vivo en Berlin\" \nEntidades: Wolfgang:PER, Berlin:LOC \n ---- \nExtrae as entidades nomeadas do seguinte texto: \nTexto: \"María e Miguel non teñen ningún problema\" \nEntidades: María:PER, Miguel:PER \n---- \nExtrae as entidades nomeadas do seguinte texto: \nTexto: \"O mellor de Barcelona é o bar do meu amigo Pablo\" \nEntidades: Pablo:PER, Barcelona:LOC \n---- \nExtrae as entidades nomeadas do seguinte texto: \nTexto: \"Carlos comparte cuarto con Marc\" \nEntidades:"], | |
| ["Cualifica como Positivo ou Negativo o sentimento da seguinte frase:\n Texto: \"Estou moi feliz\"\n Polaridade: Positivo\n ---- \n Cualifica como Positivo ou Negativo o sentimento da seguinte frase:\n Texto: \"Non me gusta beber cervexa\"\n Polaridade: Negativo\n ----\n Cualifica como Positivo ou Negativo o sentimento da seguinte frase:\n Texto: \"O meu pai detesta o seu traballo\"\n Polaridade: Negativo\n ----\n Cualifica como Positivo ou Negativo o sentimento da seguinte frase:\n Texto: \"Uxía desfruta xogando ao fútbol\"\n Polaridade: Positivo\n ----\n Cualifica como Positivo ou Negativo o sentimento da seguinte frase:\n Texto: \"O neno non está contento coas notas\"\n Polaridade:"] | |
| ] | |
| fronted_theme = 'Soft' | |
| # Model charge --------------------------------------------------------- | |
| model_id_flor = "proxectonos/FLOR-1.3B-GL" | |
| generator_model_flor = pipeline("text-generation", model=model_id_flor) | |
| model_id_cerebras = "proxectonos/Cerebras-1.3B-GL" | |
| generator_model_cerebras = pipeline("text-generation", model=model_id_cerebras, token=os.environ['TOKEN_HF']) | |
| # Generation functions --------------------------------------------------------- | |
| def get_model(model_selection): | |
| if model_selection == "FLOR-1.3B-GL": | |
| return generator_model_flor | |
| else: | |
| return generator_model_cerebras | |
| def remove_empty_lines(text): | |
| lines = text.strip().split("\n") | |
| non_empty_lines = [line for line in lines if line.strip()] | |
| return "\n".join(non_empty_lines) | |
| def predict(prompt, model_select, max_length, repetition_penalty, temperature): | |
| print("Dentro da xeración...") | |
| generator_model = get_model(model_select) | |
| prompt_length = len(generator_model.tokenizer.encode(prompt)) | |
| generated_text = generator_model( | |
| prompt, | |
| max_length=prompt_length + max_length, | |
| pad_token_id=generator_model.tokenizer.eos_token_id, | |
| repetition_penalty=repetition_penalty, | |
| temperature=temperature, | |
| do_sample=True) | |
| generated_sequence = generated_text[0]['generated_text'] | |
| if generated_sequence is None: | |
| gr.Warning('Inference endpoint is not available right now. Please try again later.') | |
| return | |
| generated_sequence = remove_empty_lines(generated_sequence) | |
| print("Xeración completada") | |
| return generated_sequence | |
| # Gradio app --------------------------------------------------------- | |
| def clear(): | |
| return ( | |
| None, | |
| None, | |
| gr.update(value=20), | |
| gr.update(value=1.3), | |
| gr.update(value=0.5) | |
| ) | |
| def pass_to_input(generated_gl): | |
| return ( | |
| gr.update(value=generated_gl), | |
| None | |
| ) | |
| def parameters_default(text): | |
| return ( | |
| gr.update(value=30), # max_length | |
| gr.update(value=1.3), # repetition_penalty | |
| gr.update(value=0.5) # temperature | |
| ) | |
| def parameters_fewshot_prompt(text): | |
| return ( | |
| gr.update(value=15), # max_length | |
| gr.update(value=1), # repetition_penalty | |
| gr.update(value=0.5) # temperature | |
| ) | |
| def gradio_app(): | |
| with gr.Blocks(theme=fronted_theme) as demo: | |
| with gr.Row(): | |
| with gr.Column(scale=0.1): | |
| gr.HTML('<img src="https://huggingface.co/spaces/proxectonos/README/resolve/main/title-card.png" width="100%" style="border-radius: 0.75rem;">') | |
| with gr.Column(): | |
| gr.Markdown(markdown_description) | |
| with gr.Row(equal_height=True): | |
| model_select = gr.Dropdown( | |
| label="Selecione un modelo / Select a model", | |
| choices=MODEL_NAMES, | |
| value=MODEL_NAMES[0], | |
| interactive=True | |
| ) | |
| with gr.Row(equal_height=True): | |
| with gr.Column(): | |
| text_gl = gr.Textbox(label="Entrada / Input", | |
| lines=6, placeholder="e.g. O neno vai a escola con ") | |
| with gr.Row(variant="panel"): | |
| with gr.Accordion("Parámetros do modelo / Model parameters", open=False): | |
| max_length = Slider( | |
| minimum=1, | |
| maximum=200, | |
| step=1, | |
| value=30, | |
| label="Max tokens" | |
| ) | |
| repetition_penalty = Slider( | |
| minimum=0.1, | |
| maximum=4, | |
| step=0.1, | |
| value=1.3, | |
| label="Penalización por repetición / Repetition penalty"" | |
| ) | |
| temperature = Slider( | |
| minimum=0, | |
| maximum=1, | |
| value=0.5, | |
| label="Temperatura / Temperature" | |
| ) | |
| generator_btn = gr.Button(value="Xerar / Generate",variant='primary') | |
| with gr.Column(): | |
| generated_gl = gr.Textbox(label="Saída / Output", | |
| lines=6, | |
| placeholder="O texto xerado aparecerá aquí...", | |
| interactive=False, | |
| show_copy_button=True) | |
| pass_btn = gr.Button(value="Pasar texto xerado á entrada / Pass generated text to input",variant='secondary') | |
| clean_btn = gr.Button(value="Limpar / Clear",variant='secondary') | |
| generator_btn.click(predict, inputs=[text_gl, model_select, max_length, repetition_penalty, temperature], outputs=generated_gl, api_name="generate-flor-gl") | |
| clean_btn.click(fn=clear, inputs=[], outputs=[text_gl, generated_gl, max_length, repetition_penalty, temperature], queue=False, api_name=False) | |
| pass_btn.click(fn=pass_to_input, inputs=[generated_gl], outputs=[text_gl,generated_gl], queue=False, api_name=False) | |
| with gr.Row(): | |
| with gr.Column(scale=0.5): | |
| gr.Examples( | |
| label = "Prompts curtos / Short prompts", | |
| examples = short_prompts_examples, | |
| inputs = [text_gl], | |
| outputs = [max_length, repetition_penalty, temperature], | |
| fn = parameters_default, | |
| run_on_click = True | |
| ) | |
| gr.Examples( | |
| label = "Prompts con poucos exemplos / Few-shot prompts", | |
| examples = few_shot_prompts_examples, | |
| inputs = [text_gl], | |
| outputs = [max_length, repetition_penalty, temperature], | |
| fn = parameters_fewshot_prompt, | |
| run_on_click = True | |
| ) | |
| demo.launch() | |
| if __name__ == "__main__": | |
| gradio_app() |