init

README.md

@@ -7,7 +7,6 @@ sdk: gradio
 sdk_version: 5.9.0
 app_file: app.py
 pinned: false
-short_description: Combines the Google Translator and the BART summarization
 ---
 
 Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference

app.py

@@ -1,7 +1,120 @@
+""" This app combines the Google Translator and the BART summarization model to translate and summarize text.
+    
+    Note: The app have limitations on the text length. It can only handle up to 5000 characters. The app is designed to be used in the Dhivehi language. This is not a finetuned dhivehi model. this is a simple pipeline to utilize existing modes/models of translation and summarization.
+"""
+import spaces
 import gradio as gr
+from deep_translator import GoogleTranslator
+from transformers import pipeline
 
-def greet(name):
-    return "Hello " + name + "!!"
+pipe = pipeline("summarization", model="facebook/bart-large-cnn")
 
-demo = gr.Interface(fn=greet, inputs="text", outputs="text")
-demo.launch()
+summary_type = {
+    "short":{
+        "description":"Best for: Executive overviews, abstracts, or capturing the essence of a text briefly.",
+        "min_length":20, "max_length":50
+    }, 
+    "medium":{
+        "description":"Best for: Detailed summaries, reports, or providing a comprehensive overview of a text.",
+        "min_length":50, "max_length":100
+    }, 
+    "detail":{
+        "description":"Best for: In-depth analysis, detailed reports, or providing a comprehensive overview of a text.",
+        "min_length":100, "max_length":200
+    }
+}
+
+@spaces.GPU
+def translate_text(text, s_type):
+    if len(text) > 4999:
+        gr.Warning("Text is too long. Please enter a shorter text.")
+        return "Text is too long. Please enter a shorter text.", "", ""
+    # Initialize the translator
+    translator = GoogleTranslator(source="dhivehi", target="english")
+    
+    # Perform the translation
+    translation = translator.translate(text)
+
+    # Summarize the text    
+    summary = summarize_text(translation, s_type)
+
+    # Translate the summary to Dhivehi
+    translator = GoogleTranslator(source="english", target="dhivehi")
+    summary_dhivehi = translator.translate(summary)
+    
+    # Return the translated text
+    return translation, summary, summary_dhivehi
+
+def summarize_text(text, s_type):
+    min_length = summary_type[s_type]["min_length"]
+    max_length = summary_type[s_type]["max_length"]
+    #print(f"Min length: {min_length}, Max length: {max_length}")
+    summary = pipe(text, max_length=max_length, min_length=min_length, do_sample=False)
+    return summary[0]['summary_text']
+
+eg_text1 = """ގޭމިން ޕްލެޓްފޯމް ރޯބްލޮކްސް އިން ރިމޯޓް ޕޭރެންޓަލް ކޮންޓްރޯލް އާ އެކު ރައްކާތެރިކަމުގެ ބޮޑެތި އަޕްގްރޭޑްތަކެއް އިއުލާނުކޮށް، 13 އަހަރުން ދަށުގެ ކުދިންނަށް އެ ޕްލެޓްފޯމްގައި އެހެން މީހުންނާ މުއާސަލާތު ނުކުރެވޭ ގޮތް ހަދަން ނިންމައިފި އެވެ.
+
+ރޯބްލޮކްސް އަކީ 2004 ވަނަ އަހަރު އުފެއްދި މަޝްހޫރު އޮންލައިން ގޭމިން އަދި ކްރިއޭޓިވިޓީއާ ގުޅުން ހުރި އެތައް ކަމަކަށް ހާއްސަ ޕްލެޓްފޯމެކެވެ.
+
+ރޯބްލޮކްސް ބޭނުންކުރާ ކުދިންނަށް، އެހެން މީހުން އުފައްދާ ގޭމްތަކާއި "އެކްސްޕީރިއަންސް" ތަކުން ބޭނުން ކަމެއް އިޚްތިޔާރުކޮށް، އޮންލައިންކޮށް ގޭމް ކުޅެ އަދި ރިއަލް ޓައިމްގައި އެ މީހުންނާ އެކު ޗެޓް ކުރެވޭ އެވެ.
+
+ރޯބްލޮކްސް ބޭނުންކުރާ މީހުން ދުނިޔޭގެ އެކި ކަންކޮޅުތަކުގައި އުޅެ އެވެ. ހާއްސަކޮށް، ކުޑަކުދިންނާއި ޒުވާނުންގެ އެތައް މިލިއަން ބަޔަކު ބޭނުންކުރާ އިރު، ފަހުގެ ދިރާސާތަކާއި މީޑިއާ ރިޕޯޓްތައް ބުނާ ގޮތުން އެ މި ޕްލެޓްފޯމްގައި ސްކޭމްކުރާ މީހުންނާއި ނުބައި ނިޔަތުގައި އުޅޭ މީހުން ގިނަ އެވެ. އަދި މީގައި ކުޑަކުދިން އެކަށީގެންވާ މިންވަރަށް ހިމާޔަތެއް ވެސް ނުކުރެ އެވެ.
+
+ބްލޫމްބާގްއިން މިދިޔަ އަހަރު ނެރުނު ރިޕޯޓެއްގައި ބުނެފައިވާ ގޮތުގައި ރޯބްލޮކްސް ތެރެއިން ބައްދަލުވެ ކުދިން ގްރޫމްކޮށް، ޖިންސީ ގޯނާކޮށް ނުވަތަ ވަގަށް ނެގުން ފަދަ މައްސަަލަތައް ބޮޑެވެ. މިފަދަ މައްސަލަތަކުގައި 2018 ވަނަ އަހަރުން ފެށިގެން މިހާތަނަށް 24 މީހަކު ހައްޔަރުކޮށްފައިވާ ކަމަށް ވަނީ ބުނެފަ އެވެ.
+
+އެ ރިޕޯޓްގައި ބުނެފައިވަނީ ކާކުކަން ނޭނގޭ އެކައުންޓްތަކުގެ ސަބަބުން، ނުބައި އަމަލުތައް ހިންގުމުގެ ނިޔަތުގައި އުޅޭ މީހުން ދެނެގަންނަން ދަތިވާ ކަމަށެވެ.
+
+- އަލަށް އެޅި ފިޔަވަޅުތަކުގެ ސަބަބުން ބެލެ��ިވެރިންނަށް ދަރިންގެ ހަރަކާތްތައް މޮނިޓާކޮށް، އަމިއްލަ ޑިވައިސްތަކުން ވަގުތު މާ ގާތުން ބެލޭނެ.
+
+- އަދި 13 އަހަރުން ދަށުގެ ކުދިންނަށް ގޭމްތަކުގެ ބޭރުން ޑައިރެކްޓް މެސެޖިންގެ ފުރުސަތު މިހާރު ނުލިބޭނެ ކަމަށާއި ޑިފޯލްޓްކޮށް ތަޖުރިބާގެ ތެރޭގައި ޕަބްލިކް ބްރޯޑްކާސްޓް ކުރާ މެސެޖުތަކަށް އެކަނި ވެސް އެ ކުންފުނިން ބުންޏެވެ.
+
+"ރޯބްލޮކްސްގައި ކޮންމެ ކަމެއް ކުރާއިރު ވެސް އެންމެ ބޮޑު އިސްކަމެއް ދެނީ ކަސްޓަމަރުންގެ ރައްކާތެރިކަމަށް،" ޗީފް ސޭފްޓީ އޮފިސަރު މެޓް ކޯފްމަން ވިދާޅުވި އެވެ.
+
+މި ގެންނަ ބަދަލުތަކުގެ ތެރޭގައި، ކޮންޓެންޓް ޓައިޕް ލޭބަލްތަކަށް ބަލައި އުމުރާ ގުޅޭ ގޮތުން ކޮންޓެންޓް ރޭޓިން ކަނޑައެޅުން ދޫކޮށްލުން ހިމެނެ އެވެ. މި އުސޫލު ދޫކޮށްލުމަށް ފަހު ހަދަނީ ނުވަ އަހަރުން ދަށުގެ ކަސްޓަމަރުން "މިނިމަލް" ނުވަތަ "މައިލްޑް" ކޮންޓެންޓަށް ބެލެނިވެރިން ހުއްދަ ދީގެން ނޫނީ ނުބެލޭ ގޮތަށެވެ.
+
+"މި އަޕްޑޭޓްތަކުގެ ސަބަބުން، ދަރިފުޅަށް އެންމެ އެކަށީގެންވާ ކަންކަމާ ގުޅޭ ގޮތުން ރަނގަޅު ނިންމުންތައް ނިންމުމަށް ބެލެނިވެރިންނަށް އިތުރަށް ފަސޭހަވާނެ،" ކޯފްމަން ވިދާޅުވި އެވެ."""
+
+eg_text2 = """ސަރުކާރުގެ އޮފީސްތަކުގެ އޮންލައިން ޕޯޓަލް ކަމަށްވާ އީފާސްގެ ފޭސް ރެކޮގްނިޝަންގެ އާ ވެންޑާއަކަށް ލެޓްވިއާގެ ކުންފުންޏެއް ސަރުކާރުން ހަމަޖައްސައިފި އެވެ.
+
+އެންސީއައިޓީން މިއަދު ނެރުނު ނޫސްބަޔާނެއްގައި ބުނީ، އީފާސްގެ ފޭސް ރެކޮގްނިޝަން ހިދުމަތް ދިނުމަށް ކުރިން ހަވާލުކޮށްފައިވާ "ސަމް އެންޑް ސަބްސްޓެންސް ޕްރައިވެޑް ލިމިޓެޑް" (ސަމްސަބް) ކުންފުނި އެ މަސައްކަތުން ވަކިކޮށް، އާ ވެންޑާއަކާ މަސައްކަތް ހަވާލުކުރުމަށް ފަހު އަލުން އޮންލައިން ފޭސް ވެރިފިކޭޝަންގެ ހިދުމަތް މިހާރު ފަށާފައިވާ ކަމަށެވެ.
+
+ސަމްސަބް އަކީ އިނގިރޭސިވިލާތުގައި ރަޖިސްޓްރީކޮށްފައި އޮންނަ އިޒްރޭލުގެ ބަޔަކު އުފައްދާފައިވާ ކުންފުންޏެކެވެ. އެހެންވެ، އެކަމުގައި އާންމުންގެ ފާޑުކިޔުން ބޮޑުވުމުން ސަރުކާރުން އެ ކުންފުނި ވަކިކުރީ އެވެ.
+
+އާންމުންގެ ފާޑުކިޔުންތަކާ ގުޅިގެން އެންސީއައިޓީން އޭރު ބުނެފައި ވަނީ ސަމްސަބްއާ އެ ހިދުމަތް ދިނުމަށް ހަވާލުކުރީ އެ ކުންފުންޏަކީ އިނގިރޭސިވިލާތުގެ ގާނޫނުގެ ދަށުން ހިންގާ ބަޔަކަށް ވާތީ ކަމަށެވެ. އަދި ފޮޓޯ ފިޔަވާ އެއްވެސް ދިވެއްސެއްގެ ޒާތީ މައުލޫމާތު އެ ކުންފުންޏަށް ނޭނގޭނެ ކަމަށް އޭރު ބުނެފައިވެ އެވެ.
+
+އެންސީއައިޓީގެ ބަޔާނުގައި ބުނީ އާ ވެންޑާއަކަށް ހަމަޖައްސާފައި ވަނީ ޔޫރަޕުގެ ގައުމެއް ކަމަށްވާ ލެޓްވިއާގައި ރަޖިސްޓަރީކޮށްފައިވާ ރެގިއުލާ ފޮރެންސިކްސް ނަމަކަށް ކިޔާ ކުންފުންޏެއް ކަމަށެވެ. ފޭސް ވެރިފިކޭޝަން ހެދުމަށް މިހާރު ބޭނުންކުރަނީ އެ ކުންފުނީގެ އެޕްލިކޭޝަނެއް ކަމަށް ވެސް އެ ބަޔާނުގައި ބުންޏެވެ.
+
+"އަދި، މިކަން ހިނގާނީ ބޭރުގެ އެއްވެސް ފަރާތަކަށް އެއްވެސް ރައްޔިތެއްގެ ފޮޓޯއެއް ނުވަތަ އެ ނޫން ވެސް އެހެން ޒާތީ މައުލޫމާތެއް ހިއްސާކުރުމަކާ ނުލައި އެންސީއައިޓީގެ އެތެރޭގަ އެވެ،" ބަޔާނުގައި ބުންޏެވެ.
+
+ރެގިއުލާ ފޮރެންސިކްސް އަކީ، އެންސީއައިޓީން ބުނި ގޮތުގައި، 30 އަހަރުގެ ތަޖުރިބާއާ އެކު، ސެކިއުރިޓީގެ ދާއިރާއިން ގިނަ ޑިޖިޓަލް ހިދުމަތްތަކެއް ފޯރުކޮށްދޭ ގާބިލް އަދި ބައިނަލްއަގުވާމީ ބޮޑެތި ކުންފުނިތަކާ ތަފާތު އެކި ގައުމުތަކަށް ވެސް ހިދުމަތްދެމުން އަންނަ އިތުބާރު ��ުރި ކުންފުންޏެކެވެ.
+
+އެންސީއައިޓީން ބުނީ މިވަގުތު ފޭސް ރިކޮގްނިޝަންގެ ހިދުމަތް ލިބޭނީ ވެބް ބްރައުޒާއެއް މެދުވެރިކޮށް އީފާސް އަށް ލޮގިންވާއިރު އެކަނި ކަމަށެވެ.
+"""
+
+css = """
+.textbox1 textarea {
+    font-size: 18px !important;
+    font-family: 'MV_Faseyha', 'Faruma', 'A_Faruma' !important;
+    line-height: 1.8 !important;
+}
+"""
+
+# Define the Gradio interface
+iface = gr.Interface(
+    fn=translate_text,  # Function to wrap
+    inputs=[
+        gr.Textbox(lines=2, placeholder="ލިޔުމެއް", label="Dhivehi Text", rtl=True, elem_classes="textbox1"),  # Text input
+        gr.Radio(summary_type.keys(), label="Summary Type", value="medium")
+    ],
+    css=css,
+    outputs=[gr.Textbox(label="English Text", lines=2), gr.Textbox(label="English Summarized Text", lines=2), gr.Textbox(label="Dhivehi Summary", lines=2, rtl=True, elem_classes="textbox1")],  # Output type
+    title="Dhivehi Translation and Summarization",
+    description="Translate text from Dhivehi to English and summarize the text in English and Dhivehi.",
+    examples=[
+        [eg_text1, "medium"],
+        [eg_text2, "short"]
+    ]
+)
+
+# Launch the Gradio interface
+iface.launch()

requirements.txt

@@ -0,0 +1,4 @@
+deep-translator
+transformers
+tensorflow
+tf-keras