Upload 10 files

.streamlit/config.toml

@@ -0,0 +1,3 @@
+[theme]
+base="light"
+primaryColor="#29B4E8"

Demo.py

@@ -0,0 +1,153 @@
+import streamlit as st
+import sparknlp
+import os
+import pandas as pd
+
+from sparknlp.base import *
+from sparknlp.annotator import *
+from pyspark.ml import Pipeline
+from sparknlp.pretrained import PretrainedPipeline
+from annotated_text import annotated_text
+
+# Page configuration
+st.set_page_config(
+    layout="wide", 
+    initial_sidebar_state="auto"
+)
+
+# CSS for styling
+st.markdown("""
+    <style>
+        .main-title {
+            font-size: 36px;
+            color: #4A90E2;
+            font-weight: bold;
+            text-align: center;
+        }
+        .section {
+            background-color: #f9f9f9;
+            padding: 10px;
+            border-radius: 10px;
+            margin-top: 10px;
+        }
+        .section p, .section ul {
+            color: #666666;
+        }
+    </style>
+""", unsafe_allow_html=True)
+
+@st.cache_resource
+def init_spark():
+    return sparknlp.start()
+
+@st.cache_resource
+def create_pipeline(model):
+    documentAssembler = DocumentAssembler()\
+        .setInputCol("text")\
+        .setOutputCol("document")
+
+    tokenizer = Tokenizer() \
+        .setInputCols(["document"]) \
+        .setOutputCol("token")
+
+    embeddings = WordEmbeddingsModel.pretrained("urduvec_140M_300d", "ur") \
+        .setInputCols(["document", "token"]) \
+        .setOutputCol("embeddings")
+
+    ner = NerDLModel.pretrained("uner_mk_140M_300d", "ur" ) \
+        .setInputCols(["document", "token", "embeddings"]) \
+        .setOutputCol("ner")
+
+    ner_converter = NerConverter() \
+        .setInputCols(["document", "token", "ner"]) \
+        .setOutputCol("ner_chunk")
+
+    nlpPipeline = Pipeline(stages=[documentAssembler, tokenizer, embeddings, ner, ner_converter])
+    return nlpPipeline
+
+def fit_data(pipeline, data):
+  empty_df = spark.createDataFrame([['']]).toDF('text')
+  pipeline_model = pipeline.fit(empty_df)
+  model = LightPipeline(pipeline_model)
+  result = model.fullAnnotate(data)
+  return result
+
+def annotate(data):
+    document, chunks, labels = data["Document"], data["NER Chunk"], data["NER Label"]
+    annotated_words = []
+    for chunk, label in zip(chunks, labels):
+        parts = document.split(chunk, 1)
+        if parts[0]:
+            annotated_words.append(parts[0])
+        annotated_words.append((chunk, label))
+        document = parts[1]
+    if document:
+        annotated_words.append(document)
+    annotated_text(*annotated_words)
+
+# Set up the page layout
+st.markdown('<div class="main-title">Recognize entities in Urdu text</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>This demo utilizes embeddings-based NER model for Urdu texts, using the urduvec_140M_300d word embeddings</p>
+</div>
+""", unsafe_allow_html=True)
+
+# Sidebar content
+model = st.sidebar.selectbox(
+    "Choose the pretrained model",
+    ["uner_mk_140M_300d"],
+    help="For more info about the models visit: https://sparknlp.org/models"
+)
+
+# Reference notebook link in sidebar
+link = """
+<a href="https://colab.research.google.com/github/JohnSnowLabs/spark-nlp-workshop/blob/master/tutorials/streamlit_notebooks/public/NER_UR.ipynb">
+    <img src="https://colab.research.google.com/assets/colab-badge.svg" style="zoom: 1.3" alt="Open In Colab"/>
+</a>
+"""
+st.sidebar.markdown('Reference notebook:')
+st.sidebar.markdown(link, unsafe_allow_html=True)
+
+# Load examples
+examples = [
+    """کھیل کے لیے سب سے مناسب تاریخ سال کا آخر ہے کیونکہ سنہ دوہزارباءیس کے آغاز میں سرمائی اولمپکس ہوتی ہیں۔ بلیٹر نے بین الاقوامی اولمپک کمیٹی کو یقین دلایا کہ ورلڈ کپ اور سرمائی اولمپکس کی تاریخوں میں کوئی ٹکراؤ نہیں ہو گا، جو کہ فروری دوہزارباءیس میں قزاقستان یا چین میں ہونی ہیں۔ فٹبال کلب کی تاریخ میں سنیچر 25اکتوبر کو ریئل میڈرڈ اور بارسلونا کے درمیان اہم ترین میچ کھیلا جائے گا۔ اس میچ میں فٹبال کی دنیا کے دو بہترین کھلاڑی حصہ لیں گے۔ اس میچ کی ایک خاص بات اور بھی ہے کہ اس میں فٹبال کے عالمی کپ میں سب سے زیادہ گول کرنے والے کھلاڑی کے علاوہ تاریخ کے پانچ میں سے چار مہنگے ترین کھلاڑی بھی حصہ لیں گے۔""",
+    """اس میچ کی سب سے زیادہ سحر انگيزی یوروگوائے کے مشہور کھلاڑی لوئس سواریز کی شمولیت ہے۔ خیال رہے کہ لوئس سواریز نے برازیل میں کھیلے جانے والے فٹبال کے عالمی کپ کے ایک میچ کے دوران اطالوی کھلاڑی جیورجیو چیلینی کو کاٹ کھایا تھا جس کے بعد فیفا نے ان پر نو بین الاقوامی میچوں کی پابندی عائد کی تھی۔ اس میچ میں ارجنٹائن سے تعلق رکھنے والے فٹبال کے شہرۂ آفاق کھلاڑی لیونل میسی اور برازیل کے سٹار کھلاڑی نیمار بھی حصہ لیں گے۔""",
+    """سائنسدانوں نے صرف بیس ڈالر کا مواد استعمال کرتے ہوئے صرف بارہ گھنٹے میں ایبولا کا پروٹو ٹائپ بنا کر اپنی ٹیسٹ کی تکنیک کو ثابت کر دیا۔ اس ٹیسٹ میں حیاتیاتی اجزا استعمال ہوتے ہیں جس میں آر این اے کے جنیاتی اجزا بھی شامل ہوتے ہیں۔ سائنسدانوں کا کہنا ہے کہ ان اجزا کو ٹھنڈا اور خشک کرکے عام کاغذ پر بھی سٹور کیا جا سکتا ہے۔ تحقیقی ٹیم کے سربراہ جیم کولنز جو بوسٹن اور ہارورڈ دونوں یونیورسٹیوں میں تعینات ہیں، کہتے ہیں کہ ان حیاتیاتی اجزا کو صرف پانی ملانے سے متحرک کیا جا سکتا ہے۔ انھوں نے بی بی سی کو بتایا کہ ہمیں اس بات پر حیرت ہوئی کہ ٹھنڈا اور خشک کرنے کے بعد ان اجزا نے کتنے اچھے طریقے سے کام کیا۔""",
+    """ان کے بائیں ہاتھ میں ہیئر لائن فریکچر ہے اور وہ جمعے کو میدان میں فیلڈنگ کے لیے بھی نہیں آئے۔ تین میچوں کی اس ٹیسٹ سیریز میں پاکستان کو ایک صفر کی برتری حاصل ہے اور وہ سری لنکا کی سرزمین پر نو سال میں پہلی ٹیسٹ سیریز جیتنے کے لیے کوشاں ہے۔ پاکستانی ٹیم نے آخری بار سری لنکا میں ٹیسٹ سیریز سنہ 2006 میں انضمام الحق کی قیادت میں جیتی تھی جس کے بعد لگاتار تین مرتبہ اسے ٹیسٹ سیریز میں شکست ہو چکی ہے۔""",
+    """انھوں نے کہا کہ گذشتہ ایشیز سیریز میں پانچ صفر کی جیت اور ورلڈ کپ کا فاتح بننا کلارک کے کریئر کے دو اہم واقعات ہیں۔ اس کے علاوہ بھی انھوں نے اپنے ملک کے لیے بحیثیت بیٹسمین اور کپتان غیرمعمولی کارکردگی کا مظاہرہ کیا۔ڈربن میں کھیلے جانے والے تیسرے ایک روزہ میچ میں جنوبی افریقہ نے نیوزی لینڈ کو 62 رنز سے شکست دے کر تین میچوں پر مشتمل سیریز دو ایک سے جیت لی۔"""
+]
+
+selected_text = st.selectbox("Select an example", examples)
+custom_input = st.text_input("Try it with your own Sentence!")
+
+text_to_analyze = custom_input if custom_input else selected_text
+
+st.subheader('Full example text')
+HTML_WRAPPER = """<div class="scroll entities" style="overflow-x: auto; border: 1px solid #e6e9ef; border-radius: 0.25rem; padding: 1rem; margin-bottom: 2.5rem; white-space:pre-wrap">{}</div>"""
+st.markdown(HTML_WRAPPER.format(text_to_analyze), unsafe_allow_html=True)
+
+# Initialize Spark and create pipeline
+spark = init_spark()
+pipeline = create_pipeline(model)
+output = fit_data(pipeline, text_to_analyze)
+
+# Display matched sentence
+st.subheader("Processed output:")
+
+results = {
+    'Document': output[0]['document'][0].result,
+    'NER Chunk': [n.result for n in output[0]['ner_chunk']],
+    "NER Label": [n.metadata['entity'] for n in output[0]['ner_chunk']]
+}
+
+annotate(results)
+
+with st.expander("View DataFrame"):
+    df = pd.DataFrame({'NER Chunk': results['NER Chunk'], 'NER Label': results['NER Label']})
+    df.index += 1
+    st.dataframe(df)
+
+
+
+

Dockerfile

@@ -0,0 +1,70 @@
+# Download base image ubuntu 18.04
+FROM ubuntu:18.04
+
+# Set environment variables
+ENV NB_USER jovyan
+ENV NB_UID 1000
+ENV HOME /home/${NB_USER}
+
+# Install required packages
+RUN apt-get update && apt-get install -y \
+    tar \
+    wget \
+    bash \
+    rsync \
+    gcc \
+    libfreetype6-dev \
+    libhdf5-serial-dev \
+    libpng-dev \
+    libzmq3-dev \
+    python3 \
+    python3-dev \
+    python3-pip \
+    unzip \
+    pkg-config \
+    software-properties-common \
+    graphviz \
+    openjdk-8-jdk \
+    ant \
+    ca-certificates-java \
+    && apt-get clean \
+    && update-ca-certificates -f;
+
+# Install Python 3.8 and pip
+RUN add-apt-repository ppa:deadsnakes/ppa \
+    && apt-get update \
+    && apt-get install -y python3.8 python3-pip \
+    && apt-get clean;
+
+# Set up JAVA_HOME
+ENV JAVA_HOME /usr/lib/jvm/java-8-openjdk-amd64/
+RUN mkdir -p ${HOME} \
+    && echo "export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/" >> ${HOME}/.bashrc \
+    && chown -R ${NB_UID}:${NB_UID} ${HOME}
+
+# Create a new user named "jovyan" with user ID 1000
+RUN useradd -m -u ${NB_UID} ${NB_USER}
+
+# Switch to the "jovyan" user
+USER ${NB_USER}
+
+# Set home and path variables for the user
+ENV HOME=/home/${NB_USER} \
+    PATH=/home/${NB_USER}/.local/bin:$PATH
+
+# Set the working directory to the user's home directory
+WORKDIR ${HOME}
+
+# Upgrade pip and install Python dependencies
+RUN python3.8 -m pip install --upgrade pip
+COPY requirements.txt /tmp/requirements.txt
+RUN python3.8 -m pip install -r /tmp/requirements.txt
+
+# Copy the application code into the container at /home/jovyan
+COPY --chown=${NB_USER}:${NB_USER} . ${HOME}
+
+# Expose port for Streamlit
+EXPOSE 7860
+
+# Define the entry point for the container
+ENTRYPOINT ["streamlit", "run", "Demo.py", "--server.port=7860", "--server.address=0.0.0.0"]

inputs/hebrewner_cc_300d/Example1.txt

@@ -0,0 +1,2 @@
+Example 1
+והתוצאה : ספרו הפך לרב מכר ענק ובסיס לוויכוחים תיאולוגיים ודיונים נזעמים , כמו גם התקפות והאשמות כלפי בראון מחוגי הכנסייה כפי שמעולם לא התעוררו כתוצאה מספריהם של וואלאס או לאדלום , ואף גרם לסופר מצליח בזכות עצמו , דן בורסטין , לערוך את הספר " הסודות שמאחורי צופן דה וינצ'י " , שבו הוא בודק אחת לאחת את העובדות וההנחות שעליהן מסתמך בראון על ידי שפע של מאמרים , חלקם מקוריים וחלקם לקוחים מספרים , כתבי עת וראיונות עם חוקרים שונים .

inputs/hebrewner_cc_300d/Example2.txt

@@ -0,0 +1,2 @@
+Example 2
+בגלל קוצר היריעה לא נתעסק כאן בכל הנושאים המגוונים שבהם דן הספר , כמו למשל דמותה של מרים המגדלית , הדעות האזוטריות של ליאונרדו דה וינצי וכן הלאה , אלא נתמקד בנושא אחד - באגודת הסתר " מסדר ציון " - מסדר חשאי הקיים כביכול מזה אלף שנה , ותפקידו להגן על צאצאי השושלת המ ֶרוב ּינגית הקדומה של צרפת , שהם למעשה צאצאי ישוע ומרים המגדלית , ולפיכך הם , לדעת חברי המסדר , השושלת המלכותית הלגיטימית של צרפת , מה שאומר כמובן שמלכי צרפת הם ממוצא יהודי .

inputs/hebrewner_cc_300d/Example3.txt

@@ -0,0 +1,2 @@
+Example 3
+ב 32 באוקטובר התפעלה ממנו בעלת טור בעיתון " בוסטון גלוב " במלים היאות למעריצה בת 21 : " הוא עשה בחודשים אחדים למען צחות הדיבור מה שלקח לחברה שנים כדי לעשות למען טלוויזיה צבעונית ... אם דיבור היה ספורט אולימפי , הוא היה זוכה במדליית הזהב ... סילבר כה טוב , עד שהוא גורם לאנגלית להישמע כמו צרפתית ... אם ייבחר , תהיה לכולנו ההזדמנות ללמוד ממנו להיות סטודנטים בכיתתו הענקית , הנקראת מסצוסטס " .

inputs/hebrewner_cc_300d/Example4.txt

@@ -0,0 +1,2 @@
+Example 4
+לא מינה ולא מקצתה ! הרי שם סיפרתי על ההגעה בקרונות החנק , על המתים שטואטאו מהקרונות , על " קומנדו קנדה " , על אנשי הס"ס וכלביהם האמתניים , על אלומות האור מנקרות העיניים ששלחו הזרקורים , על בכי ילדים שנקרעו מזרועות אמותיהם , ולעתים נשארו האמהות הצעירות בחיים , ואתה מותיר רק מלים בודדות על ה"סלקציה " .

inputs/hebrewner_cc_300d/Example5.txt

@@ -0,0 +1,2 @@
+Example 5
+שוויד חושף את תמחורי המוצרים היציבים של החברה: " המחירים נותרו זהים : 70 דולר לאבטחת עסק קטן , 300 דולר לאבטחת רשת בעסק קטן , בין 1,500 ל - 3,500 דולר לאבטחת חברות גדולות עם אתר ראשי ועד 500 מחשבים , באמצעות מוצרי הצ'ק פוינט אקספרס , ובין 15,000 ל - 20,000 דולר לעסק עם 3 עד 4 אתרים , חברות גדולות עם מחזורי מכירות משמעותיים .

pages/Workflow & Model Overview.py

@@ -0,0 +1,269 @@
+import streamlit as st
+import pandas as pd
+
+# Custom CSS for better styling
+st.markdown("""
+    <style>
+        .main-title {
+            font-size: 36px;
+            color: #4A90E2;
+            font-weight: bold;
+            text-align: center;
+        }
+        .sub-title {
+            font-size: 24px;
+            color: #4A90E2;
+            margin-top: 20px;
+        }
+        .section {
+            background-color: #f9f9f9;
+            padding: 15px;
+            border-radius: 10px;
+            margin-top: 20px;
+        }
+        .section h2 {
+            font-size: 22px;
+            color: #4A90E2;
+        }
+        .section p, .section ul {
+            color: #666666;
+        }
+        .link {
+            color: #4A90E2;
+            text-decoration: none;
+        }
+    </style>
+""", unsafe_allow_html=True)
+
+# Main Title
+st.markdown('<div class="main-title">Detect Entities in Urdu (urduvec_140M_300d embeddings)</div>', unsafe_allow_html=True)
+
+# Introduction
+st.markdown("""
+<div class="section">
+    <p>Named Entity Recognition (NER) models identify and categorize important entities in a text. This page details a word embeddings-based NER model for Urdu texts, using the <code>urduvec_140M_300d</code> word embeddings. The model is pretrained and available for use with Spark NLP.</p>
+</div>
+""", unsafe_allow_html=True)
+
+# Model Description
+st.markdown('<div class="sub-title">Description</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>This model uses Urdu word embeddings to find 7 different types of entities in Urdu text. It is trained using <code>urduvec_140M_300d</code> word embeddings, so please use the same embeddings in the pipeline. It can identify the following types of entities:</p>
+    <ul>
+        <li>PER (Persons)</li>
+        <li>LOC (Locations)</li>
+        <li>ORG (Organizations)</li>
+        <li>DATE (Dates)</li>
+        <li>TIME (Times)</li>
+        <li>DESIGNATION (Designations)</li>
+        <li>NUMBER (Numbers)</li>
+    </ul>
+</div>
+""", unsafe_allow_html=True)
+
+# Setup Instructions
+st.markdown('<div class="sub-title">Setup</div>', unsafe_allow_html=True)
+st.markdown('<p>To use the model, you need Spark NLP installed. You can install it using pip:</p>', unsafe_allow_html=True)
+st.code("""
+pip install spark-nlp
+pip install pyspark
+""", language="bash")
+
+st.markdown("<p>Then, import Spark NLP and start a Spark session:</p>", unsafe_allow_html=True)
+st.code("""
+import sparknlp
+
+# Start Spark Session
+spark = sparknlp.start()
+""", language='python')
+
+# Example Usage
+st.markdown('<div class="sub-title">Example Usage with Urdu NER Model</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>Below is an example of how to set up and use the <code>uner_mk_140M_300d</code> model for named entity recognition in Urdu:</p>
+</div>
+""", unsafe_allow_html=True)
+st.code('''
+from sparknlp.base import *
+from sparknlp.annotator import *
+from pyspark.ml import Pipeline
+
+# Define the components of the pipeline
+documentAssembler = DocumentAssembler() \\
+    .setInputCol("text") \\
+    .setOutputCol("document")
+
+sentence_detector = SentenceDetector() \\
+    .setInputCols(["document"]) \\
+    .setOutputCol("sentence")
+
+tokenizer = Tokenizer() \\
+    .setInputCols(["sentence"]) \\
+    .setOutputCol("token")
+
+word_embeddings = WordEmbeddingsModel.pretrained("urduvec_140M_300d", "ur") \\
+    .setInputCols(["sentence", "token"]) \\
+    .setOutputCol("embeddings")
+
+ner = NerDLModel.pretrained("uner_mk_140M_300d", "ur") \\
+    .setInputCols(["sentence", "token", "embeddings"]) \\
+    .setOutputCol("ner")
+
+ner_converter = NerConverter().setInputCols(["sentence", "token", "ner"]).setOutputCol("ner_chunk")
+
+# Create the pipeline
+pipeline = Pipeline(stages=[documentAssembler, sentence_detector, tokenizer, word_embeddings, ner, ner_converter])
+
+# Create sample data
+example = """
+بریگیڈیئر ایڈ بٹلر سنہ دوہزارچھ میں ہلمند کے فوجی کمانڈر تھے۔
+"""
+data = spark.createDataFrame([[example]]).toDF("text")
+
+# Fit and transform data with the pipeline
+result = pipeline.fit(data).transform(data)
+
+# Select the result, entity
+result.select(
+    expr("explode(ner_chunk) as ner_chunk")
+).select(
+    col("ner_chunk.result").alias("chunk"),
+    col("ner_chunk.metadata").getItem("entity").alias("ner_label")
+).show(truncate=False)
+''', language="python")
+
+import pandas as pd
+
+# Create the data for the DataFrame
+data = {
+    "chunk": [
+        "بریگیڈیئر", 
+        "ایڈ بٹلر", 
+        "سنہ دوہزارچھ", 
+        "ہلمند"
+    ],
+    "ner_label": [
+        "DESIGNATION", 
+        "PERSON", 
+        "DATE", 
+        "LOCATION"
+    ]
+}
+
+# Creating the DataFrame
+df = pd.DataFrame(data)
+df.index += 1
+st.dataframe(df)
+
+# Model Information
+st.markdown('<div class="sub-title">Model Information</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>The <code>uner_mk_140M_300d</code> model details are as follows:</p>
+    <ul>
+        <li><strong>Model Name:</strong> uner_mk_140M_300d</li>
+        <li><strong>Type:</strong> ner</li>
+        <li><strong>Compatibility:</strong> Spark NLP 4.0.2+</li>
+        <li><strong>License:</strong> Open Source</li>
+        <li><strong>Edition:</strong> Official</li>
+        <li><strong>Input Labels:</strong> [document, token, word_embeddings]</li>
+        <li><strong>Output Labels:</strong> [ner]</li>
+        <li><strong>Language:</strong> ur</li>
+        <li><strong>Size:</strong> 14.8 MB</li>
+    </ul>
+</div>
+""", unsafe_allow_html=True)
+
+# Benchmark Section
+st.markdown('<div class="sub-title">Benchmark</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>Evaluating the performance of NER models is crucial to understanding their effectiveness in real-world applications. Below are the benchmark results for the <code>uner_mk_140M_300d</code> model, focusing on various named entity categories. The metrics used include precision, recall, and F1-score, which are standard for evaluating classification models.</p>
+</div>
+""", unsafe_allow_html=True)
+st.markdown("""
+---
+| Label            | TP    | FP  | FN  | Precision | Recall  | F1-Score |
+|------------------|-------|-----|-----|-----------|---------|----------|
+| I-TIME           | 12    | 10  | 1   | 0.545455  | 0.923077| 0.685714 |
+| B-PERSON         | 2808  | 846 | 535 | 0.768473  | 0.839964| 0.802630 |
+| B-DATE           | 34    | 6   | 6   | 0.850000  | 0.850000| 0.850000 |
+| I-DATE           | 45    | 1   | 2   | 0.978261  | 0.957447| 0.967742 |
+| B-DESIGNATION    | 49    | 30  | 16  | 0.620253  | 0.753846| 0.680556 |
+| I-LOCATION       | 2110  | 750 | 701 | 0.737762  | 0.750623| 0.744137 |
+| B-TIME           | 11    | 9   | 3   | 0.550000  | 0.785714| 0.647059 |
+| I-ORGANIZATION   | 2006  | 772 | 760 | 0.722102  | 0.725235| 0.723665 |
+| I-NUMBER         | 18    | 6   | 2   | 0.750000  | 0.900000| 0.818182 |
+| B-LOCATION       | 5428  | 1255| 582 | 0.812210  | 0.903161| 0.855275 |
+| B-NUMBER         | 194   | 36  | 27  | 0.843478  | 0.877828| 0.860298 |
+| B-ORGANIZATION   | 4364  | 1092| 990 | 0.799926  | 0.815058| 0.807421 |
+| I-DESIGNATION    | 57    | 15  | 10  | 0.791667  | 0.850746| 0.820896 |
+| B-MISC           | 18    | 19  | 13  | 0.486486  | 0.580645| 0.529412 |
+| I-MISC           | 10    | 11  | 10  | 0.476190  | 0.500000| 0.487805 |
+| I-PERSON         | 1891  | 689 | 622 | 0.732723  | 0.752499| 0.742486 |
+---
+""", unsafe_allow_html=True)
+
+st.markdown("""
+<div class="section">
+    <p>These results demonstrate the model's ability to accurately identify and classify named entities in Urdu text. Precision measures the accuracy of the positive predictions, recall measures the model's ability to find all relevant instances, and F1-score provides a balance between precision and recall.</p>
+</div>
+""", unsafe_allow_html=True)
+
+# Try the Model
+st.markdown('<div class="sub-title">Try the Model</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>You can use the <code>LightPipeline</code> to quickly test the model on small texts. Here is an example:</p>
+</div>
+""", unsafe_allow_html=True)
+st.code('''
+from sparknlp.base import LightPipeline
+
+# Create a LightPipeline
+light_pipeline = LightPipeline(pipeline.fit(data))
+
+# Annotate a simple text
+example_text = "بریگیڈیئر ایڈ بٹلر سنہ دوہزارچھ میں ہلمند کے فوجی کمانڈر تھے۔"
+annotations = light_pipeline.fullAnnotate(example_text)
+
+# Display the annotations
+for annotation in annotations[0]['ner_chunk']:
+    print(annotation.result, "->", annotation.metadata['entity'])
+''', language="python")
+
+# Conclusion/Summary
+st.markdown('<div class="sub-title">Conclusion</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>The <code>uner_mk_140M_300d</code> model demonstrates effective named entity recognition in Urdu texts, with strong performance metrics across various entity types. This model leverages <code>urduvec_140M_300d</code> embeddings to enhance its understanding and accuracy in identifying entities like persons, locations, organizations, and more. Its integration into Spark NLP allows for efficient and scalable processing of Urdu text data, making it a valuable tool for researchers and developers working with Urdu language applications.</p>
+</div>
+""", unsafe_allow_html=True)
+
+# References
+st.markdown('<div class="sub-title">References</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <ul>
+        <li><a class="link" href="https://sparknlp.org/api/python/reference/autosummary/sparknlp/annotator/ner/ner_dl/index.html" target="_blank" rel="noopener">NerDLModel</a> annotator documentation</li>
+        <li>Model Used: <a class="link" href="https://sparknlp.org/2022/08/09/uner_mk_140M_300d_ur_3_0.html" rel="noopener">uner_mk_140M_300d_ur_3_0</a></li>
+        <li><a class="link" href="https://www.cs.bgu.ac.il/~elhadad/nlpproj/naama/" target="_blank" rel="noopener">Data Source</a></li>
+        <li><a class="link" href="https://nlp.johnsnowlabs.com/recognize_entitie" target="_blank" rel="noopener">Visualization demos for NER in Spark NLP</a></li>
+        <li><a class="link" href="https://www.johnsnowlabs.com/named-entity-recognition-ner-with-bert-in-spark-nlp/">Named Entity Recognition (NER) with BERT in Spark NLP</a></li>
+    </ul>
+</div>
+""", unsafe_allow_html=True)
+
+# Community & Support
+st.markdown('<div class="sub-title">Community & Support</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <ul>
+        <li><a class="link" href="https://sparknlp.org/" target="_blank">Official Website</a>: Documentation and examples</li>
+        <li><a class="link" href="https://github.com/JohnSnowLabs/spark-nlp" target="_blank">GitHub Repository</a>: Report issues or contribute</li>
+        <li><a class="link" href="https://forum.johnsnowlabs.com/" target="_blank">Community Forum</a>: Ask questions, share ideas, and get support</li>
+    </ul>
+</div>
+""", unsafe_allow_html=True)

requirements.txt

@@ -0,0 +1,6 @@
+streamlit
+st-annotated-text
+pandas
+numpy
+spark-nlp
+pyspark