|
import torch |
|
|
|
import gradio as gr |
|
import pytube as pt |
|
from transformers import pipeline |
|
from huggingface_hub import model_info |
|
|
|
MODEL_NAME = "EdoAbati/whisper-large-v2-it" |
|
lang = "it" |
|
|
|
device = 0 if torch.cuda.is_available() else "cpu" |
|
pipe = pipeline( |
|
task="automatic-speech-recognition", |
|
model=MODEL_NAME, |
|
chunk_length_s=30, |
|
device=device, |
|
) |
|
|
|
pipe.model.config.forced_decoder_ids = pipe.tokenizer.get_decoder_prompt_ids(language=lang, task="transcribe") |
|
|
|
def transcribe(microphone, file_upload): |
|
warn_output = "" |
|
if (microphone is not None) and (file_upload is not None): |
|
warn_output = ( |
|
"ATTENZIONE: Hai caricato un file audio e anche registrato col microfono. " |
|
"Verrà trascritta la registrazione dal microfono, mentre il file audio verrà cancellato. \n" |
|
) |
|
|
|
elif (microphone is None) and (file_upload is None): |
|
return "ERRORE: Devi caricare un file audio oppure registrare con il microfono." |
|
|
|
file = microphone if microphone is not None else file_upload |
|
|
|
text = pipe(file)["text"] |
|
|
|
return warn_output + text |
|
|
|
|
|
def _return_yt_html_embed(yt_url): |
|
video_id = yt_url.split("?v=")[-1] |
|
HTML_str = ( |
|
f'<center> <iframe width="500" height="320" src="https://www.youtube.com/embed/{video_id}"> </iframe>' |
|
" </center>" |
|
) |
|
return HTML_str |
|
|
|
|
|
def yt_transcribe(yt_url): |
|
yt = pt.YouTube(yt_url) |
|
html_embed_str = _return_yt_html_embed(yt_url) |
|
stream = yt.streams.filter(only_audio=True)[0] |
|
stream.download(filename="audio.mp3") |
|
|
|
text = pipe("audio.mp3")["text"] |
|
|
|
return html_embed_str, text |
|
|
|
|
|
demo = gr.Blocks() |
|
|
|
text_output = gr.Textbox(show_label=True) |
|
text_output.style(show_copy_button=True) |
|
|
|
mf_transcribe = gr.Interface( |
|
fn=transcribe, |
|
inputs=[ |
|
gr.inputs.Audio(source="microphone", type="filepath"), |
|
gr.inputs.Audio(source="upload", type="filepath"), |
|
], |
|
outputs=text_output, |
|
title="Trascrivi Audio", |
|
description=( |
|
"Trascrivi l'input da microfono o file audio con un click!\n" |
|
"L'inference su scheda grafica riduce i tempi di circa 10 volte, " |
|
"per coprire le spese puoi offrirmi un caffe ☕️[qui](https://ko-fi.com/marcobuiani)\n" |
|
"Questa demo usa una versione di Whisper ottimizzata per l'Italiano da " f"[EdoAbati](https://huggingface.co/{MODEL_NAME})" |
|
), |
|
allow_flagging="never", |
|
) |
|
|
|
text_output_yt = gr.Textbox(show_label=True) |
|
text_output_yt.style(show_copy_button=True) |
|
|
|
yt_transcribe = gr.Interface( |
|
fn=yt_transcribe, |
|
inputs=[gr.inputs.Textbox(lines=1, placeholder="Incolla qui il link di un video YouTube", label="YouTube link")], |
|
outputs=["html", text_output_yt], |
|
title="Trascrivi Video YouTube", |
|
description=( |
|
"Trascrivi un video YouTube dal link con un click!\n" |
|
"L'inference su scheda grafica riduce i tempi di circa 10 volte, " |
|
"per coprire le spese puoi offrirmi un caffe ☕️[qui](https://ko-fi.com/marcobuiani)\n" |
|
"Questa demo usa una versione di Whisper ottimizzata per l'Italiano da " f"[EdoAbati](https://huggingface.co/{MODEL_NAME})" |
|
), |
|
allow_flagging="never", |
|
) |
|
|
|
with demo: |
|
gr.TabbedInterface([mf_transcribe, yt_transcribe], ["Trascrivi Audio", "Trascrivi YouTube"]) |
|
|
|
demo.launch(enable_queue=True) |
|
|
