File size: 3,018 Bytes
7900aac |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 |
# import transformers
import sentencepiece
import torch
import gradio as gr
# from indicnlp.normalize.indic_normalize import IndicNormalizerFactory
from transformers import MarianMTModel, AutoTokenizer, T5ForConditionalGeneration
from deep_translator import GoogleTranslator
def summarize(message):
tokenizer_bn_en = AutoTokenizer.from_pretrained("Helsinki-NLP/opus-mt-bn-en")
model_bn_en = MarianMTModel.from_pretrained("Helsinki-NLP/opus-mt-bn-en")
tokenizer = AutoTokenizer.from_pretrained('t5-base')
model = T5ForConditionalGeneration.from_pretrained('t5-base')
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
with torch.no_grad():
# tokenize the input text
input_ids = tokenizer_bn_en.encode(message, return_tensors='pt')
# generate the output translation
output_ids = model_bn_en.generate(input_ids)
output_text1 = tokenizer_bn_en.decode(output_ids[0], skip_special_tokens=True)
#input for the summarization model
input_text2 = output_text1
# tokenize the input text and generate the summary in english
input_ids = tokenizer.encode(input_text2, return_tensors='pt')
summary_ids = model.generate(input_ids, max_length=50, num_beams=30, early_stopping=True)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
summarized = GoogleTranslator(source='en', target='bn').translate(summary)
return summarized
# summarize("যুক্তরাষ্ট্রের নিউজার্সি অঙ্গরাজ্যের হোপওয়েল শহর এলাকার একটি বাড়ির ছাদে একটি ধাতব বস্তু আছড়ে পড়েছে। ধাতব বস্তুটি উল্কাপিণ্ড হতে পারে বলে ধারণা করা হচ্ছে। এ ঘটনায় কেউ হতাহত হয়নি বলে জানিয়েছে পুলিশ। স্থানীয় সময় গত সোমবার বেলা একটার কিছু সময় পর ওল্ড ওয়াশিংটন ক্রসিং পেনিংটন রোড এলাকায় অবস্থিত একটি বাড়িতে এ ঘটনা ঘটে। পুলিশের ভাষ্য, বস্তুটি আয়তাকার। দেখতে ধাতব পদার্থের মতো। বাড়ির বাসিন্দারা জানান, ঘটনার পর তাঁরা সংশ্লিষ্ট সহায়তা কর্তৃপক্ষকে ফোন করেন। আকাশ থেকে কোনো বস্তু যে বাড়ির ছাদে এসে পড়েছে, এ কথা কর্তৃপক্ষকে বোঝাতে তাঁদের বেগ পেতে হয়েছে।")
iface = gr.Interface(fn=summarize, inputs="text", outputs="text")
iface.launch()
|