Upload 5 files

.streamlit/config.toml

@@ -0,0 +1,3 @@
+[theme]
+base="light"
+primaryColor="#29B4E8"

Demo.py

@@ -0,0 +1,143 @@
+import streamlit as st
+import sparknlp
+import os
+import pandas as pd
+
+from sparknlp.base import *
+from sparknlp.annotator import *
+from pyspark.ml import Pipeline
+from sparknlp.pretrained import PretrainedPipeline
+from annotated_text import annotated_text
+
+# Page configuration
+st.set_page_config(
+    layout="wide", 
+    initial_sidebar_state="auto"
+)
+
+# CSS for styling
+st.markdown("""
+    <style>
+        .main-title {
+            font-size: 36px;
+            color: #4A90E2;
+            font-weight: bold;
+            text-align: center;
+        }
+        .section {
+            background-color: #f9f9f9;
+            padding: 10px;
+            border-radius: 10px;
+            margin-top: 10px;
+        }
+        .section p, .section ul {
+            color: #666666;
+        }
+    </style>
+""", unsafe_allow_html=True)
+
+@st.cache_resource
+def init_spark():
+    return sparknlp.start()
+
+@st.cache_resource
+def create_pipeline(model):
+    embeddings = WordEmbeddingsModel.pretrained("bengali_cc_300d", "bn") \
+        .setInputCols(["sentence", "token"]) \
+        .setOutputCol("embeddings")
+
+    ner = NerDLModel.pretrained("bengaliner_cc_300d", "bn") \
+        .setInputCols(["document", "token", "embeddings"]) \
+        .setOutputCol("ner")
+
+    pipeline = Pipeline(stages=[document_assembler, tokenizer, embeddings, ner, ner_converter])
+
+    return nlp_pipeline
+
+def fit_data(pipeline, data):
+  empty_df = spark.createDataFrame([['']]).toDF('text')
+  pipeline_model = pipeline.fit(empty_df)
+  model = LightPipeline(pipeline_model)
+  result = model.fullAnnotate(data)
+  return result
+
+def annotate(data):
+    document, chunks, labels = data["Document"], data["NER Chunk"], data["NER Label"]
+    annotated_words = []
+    for chunk, label in zip(chunks, labels):
+        parts = document.split(chunk, 1)
+        if parts[0]:
+            annotated_words.append(parts[0])
+        annotated_words.append((chunk, label))
+        document = parts[1]
+    if document:
+        annotated_words.append(document)
+    annotated_text(*annotated_words)
+
+# Set up the page layout
+st.markdown('<div class="main-title">Recognize entities in Bengali text</div>', unsafe_allow_html=True)
+st.markdown('<div class="section"><p>Recognize Persons, Locations, Organization, and Time entities in Bengali text using Deep Learning Model</p></div>', unsafe_allow_html=True)
+
+# Sidebar content
+model = st.sidebar.selectbox(
+    "Choose the pretrained model",
+    ["bengaliner_cc_300d"],
+    help="For more info about the models visit: https://sparknlp.org/models"
+)
+
+# Reference notebook link in sidebar
+link = """
+<a href="https://colab.research.google.com/github/JohnSnowLabs/spark-nlp-workshop/blob/master/tutorials/streamlit_notebooks/NER_BN.ipynb">
+    <img src="https://colab.research.google.com/assets/colab-badge.svg" style="zoom: 1.3" alt="Open In Colab"/>
+</a>
+"""
+st.sidebar.markdown('Reference notebook:')
+st.sidebar.markdown(link, unsafe_allow_html=True)
+
+# Load examples
+examples = [
+    "উইলিয়াম হেনরি গেটস III (জন্ম অক্টোবর ২৮, ১৯৫৫) একজন আমেরিকান ব্যবসায়ী, সফটওয়্যার ডেভেলপার, বিনিয়োগকারী এবং দাতা। তিনি মাইক্রোসফট কর্পোরেশনের সহ-প্রতিষ্ঠাতা হিসেবে সর্বাধিক পরিচিত। মাইক্রোসফটে তাঁর কর্মজীবনে, গেটস চেয়ারম্যান, প্রধান নির্বাহী কর্মকর্তা (CEO), প্রেসিডেন্ট এবং প্রধান সফটওয়্যার স্থপতি হিসেবে দায়িত্ব পালন করেছেন, পাশাপাশি ২০১৪ সালের মে পর্যন্ত সর্বাধিক শেয়ারহোল্ডার ছিলেন। তিনি ১৯৭০ এবং ১৯৮০ এর দশকের মাইক্রোকম্পিউটার বিপ্লবের অন্যতম পরিচিত উদ্যোক্তা এবং অগ্রদূত। সিয়াটল, ওয়াশিংটনে জন্মগ্রহণ ও বড় হওয়া গেটস, ১৯৭৫ সালে শৈশবের বন্ধু পল অ্যালেনের সাথে আলবুকার্কি, নিউ মেক্সিকোতে মাইক্রোসফটের সহ-প্রতিষ্ঠা করেন; এটি বিশ্বের বৃহত্তম ব্যক্তিগত কম্পিউটার সফটওয়্যার কোম্পানিতে পরিণত হয়। গেটস ২০০০ সা��ের জানুয়ারি পর্যন্ত চেয়ারম্যান ও CEO হিসেবে কোম্পানিকে নেতৃত্ব দেন, কিন্তু তিনি চেয়ারম্যান হিসাবে রয়ে যান এবং প্রধান সফটওয়্যার স্থপতি হন। ১৯৯০-এর দশকের শেষের দিকে, গেটসের ব্যবসায়িক কৌশলগুলোর জন্য সমালোচিত হয়েছিলেন, যা প্রতিযোগিতাহীন বলে বিবেচিত হয়েছে। এই মতামতটি বিভিন্ন আদালতের রায় দ্বারা সমর্থিত হয়েছে। ২০০৬ সালের জুনে, গেটস ঘোষণা করেছিলেন যে তিনি মাইক্রোসফটে আংশিক সময়ের ভূমিকা এবং বিল ও মেলিন্ডা গেটস ফাউন্ডেশনে পূর্ণকালীন কাজ করবেন, যা তিনি এবং তাঁর স্ত্রী মেলিন্ডা গেটস ২০০০ সালে প্রতিষ্ঠা করেছিলেন। তিনি ধীরে ধীরে তার দায়িত্বগুলি রে ওজি এবং ক্রেইগ মন্ডিকে হস্তান্তর করেন। তিনি ২০১৪ সালের ফেব্রুয়ারিতে মাইক্রোসফটের চেয়ারম্যান পদ থেকে সরে যান এবং নতুন নিয়োগপ্রাপ্ত CEO সত্য নাদেলার সমর্থনে প্রযুক্তি উপদেষ্টা হিসাবে নতুন পদ গ্রহণ করেন।",
+    "মোনা লিসা হল ১৬শ শতাব্দীর একটি তেলচিত্র যা লিওনার্দো দ্বারা নির্মিত। এটি প্যারিসের লুভরে সংরক্ষিত রয়েছে।",
+    "যখন সেবাস্টিয়ান থ্রুন ২০০৭ সালে গুগলে স্বয়ংচালিত গাড়ির উপর কাজ শুরু করেছিলেন, তখন কোম্পানির বাইরে খুব কম লোকই তাকে গুরুত্ব সহকারে নিয়েছিলেন। 'আমি বলতে পারি যে প্রধান আমেরিকান গাড়ি কোম্পানির অনেক শীর্ষস্থানীয় CEO আমার সাথে হাত মিলাতেন এবং দূরে সরে যেতেন কারণ আমি কথা বলার যোগ্য ছিলাম না,' থ্রুন বলেছিলেন, বর্তমানে অনলাইন উচ্চ শিক্ষা স্টার্টআপ উদাসিটির সহ-প্রতিষ্ঠাতা এবং CEO, এই সপ্তাহের শুরুতে রিকোডের সাথে একটি সাক্ষাৎকারে।",
+    "ফেসবুক একটি সামাজিক নেটওয়ার্কিং পরিষেবা যা ৪ ফেব্রুয়ারি, ২০০৪ তারিখে দ্যফেসবুক নামে চালু হয়। এটি হার্ভার্ড বিশ্ববিদ্যালয়ের ছাত্র মার্ক জুকারবার্গ তার কলেজ রুমমেট এবং সহপাঠী এডুয়ার্ডো স্যাভেরিন, অ্যান্ড্রু ম্যাককলাম, ডাস্টিন মস্কোভিটজ এবং ক্রিস হিউজের সাথে প্রতিষ্ঠা করেছিলেন। ওয়েবসাইটটির সদস্যপদ প্রাথমিকভাবে হার্ভার্ডের ছাত্রদের জন্য সীমাবদ্ধ ছিল, কিন্তু পরবর্তীতে বোস্টনের অন্যান্য কলেজ, আইভি লীগ এবং ধীরে ধীরে মার্কিন যুক্তরাষ্ট্র এবং কানাডার বেশিরভাগ বিশ্ববিদ্যালয়ে সম্প্রসারিত হয়।",
+    "প্রাকৃতিক ভাষা প্রক্রিয়াকরণের ইতিহাস সাধারণত ১৯৫০ এর দশকে শুরু হয়েছিল, যদিও আগের সময়ের কাজ পাওয়া যায়। ১৯৫০ সালে, অ্যালান টুরিং একটি প্রবন্ধ প্রকাশ করেন 'কম্পিউটিং মেশিনারি অ্যান্ড ইন্টেলিজেন্স' শিরোনামে যা বুদ্ধিমত্তার মানদণ্ড হিসাবে এখন টুরিং পরীক্ষা নামে পরিচিত প্রস্তাব করেছিল।",
+    "জিওফ্রি এভারেস্ট হিনটন একজন ইংরেজ-কানাডিয়ান কগনিটিভ সাইকোলজিস্ট এবং কম্পিউটার বিজ্ঞানী, কৃত্রিম নিউরাল নেটওয়ার্কে তার কাজের জন্য সর্বাধিক পরিচিত। ২০১৩ সাল থেকে তিনি গুগল এবং টরন্টো বিশ্ববিদ্যালয়ে কাজ করে তার সময় ভাগ করেন। ২০১৭ সালে, তিনি সহ-প্রতিষ্ঠা করেন এবং টরন্টোর ভেক্টর ইনস্টিটিউটের চিফ সায়েন্টিফিক অ্যাডভাইজার হন।",
+    "যখন আমি জনকে বলেছিলাম যে আমি আলাস্কায় যেতে চাই, তিনি আমাকে সতর্ক করেছিলেন যে সেখানে স্টারবাকস খুঁজে পাওয়া আমার জন্য কঠিন হবে।",
+    "স্টিভেন পল জবস একজন আমেরিকান ব্যবসায়ী, শিল্প ডিজাইনার, বিনিয়োগকারী এবং মিডিয়া মালিক ছিলেন। তিনি অ্যাপল ইনকর্পোরেটেডের চেয়ারম্যান, প্রধান নির্বাহী কর্মকর্তা (CEO) এবং সহ-প্রতিষ্ঠাতা ছিলেন, পিক্সারের চেয়ারম্যান এবং প্রধান শেয়ারহোল্ডার, এবং পিক্সার অধিগ্রহণের পর ওয়াল্ট ডিজনি কোম্পানির বোর্ডের সদস্য ছিলেন এবং নেক্সটের প্রতিষ্ঠাতা, চেয়ারম্যান এবং CEO ছিলেন। জবস ব্যাপকভাবে ব্যক্তিগত কম্পিউটার বিপ্লবের অগ্রদূত হিসেবে স্বীকৃত, অ্যাপলের সহ-প্রতিষ্ঠাতা স্টিভ ওজনিয়াকের সাথে। জবস সান ফ্রান্সিসকো, ক্যালিফোর্নিয়ায় জন্মগ্রহণ করেন এবং দত্তক হিসাবে লালিত হন। তিনি সান ফ্রান্সিসকো বে এলাকায় বেড়ে ওঠেন। ১৯৭২ সালে রিড কলেজে পড়াশোনা করেন এবং একই বছর পড়াশোনা ছেড়ে দেন, এবং ১৯৭৪ সালে ভারতের মধ্য দিয়ে ভ্রমণ করেন এবং আত্মশুদ্ধি এবং জেন বৌদ্ধধর্ম অধ্যয়ন করেন।",
+    "টাইটানিক ১৯৯৭ সালের একটি আমেরিকান মহাকাব্যিক রোমান্স এবং বিপর্যয় চলচ্চিত্র যা জেমস ক্যামেরন পরিচালিত, লিখিত, সহ-প্রযোজিত এবং সহ-সম্পাদিত। এটি ঐতিহাসিক এবং কাল্পনিক দিকগুলোকে অন্তর্ভুক্ত করে এবং RMS টাইটানিকের ডুবে যাওয়ার ঘটনাগুলির উপর ভিত্তি করে নির্মিত, এবং এর প্রধান ভূমিকায় রয়েছেন লিওনার্দো ডিক্যাপ্রিও এবং কেট উইন্সলেট, যারা বিভিন্ন সামাজিক শ্রেণীর সদস্য যারা জাহাজের দুর্ভাগ্যজনক প্রথম যাত্রায় প্রেমে পড়ে।",
+    "উত্তরের রাজা হওয়া ছাড়াও, জন স্নো একজন ইংরেজ চিকিৎসক এবং অ্যানেস্থেসিয়া এবং চিকিৎসা স্বাস্থ্যবিধির উন্নয়নের একজন নেতা। ১৮৩৪ সালে কলেরার প্রাদুর্ভাব নিরাময়ের জন্য ডেটা ব্যবহার করার জন্য তিনিই প্রথম হিসাবে বিবেচিত।"
+]
+
+selected_text = st.selectbox("Select an example", examples)
+custom_input = st.text_input("Try it with your own Sentence!")
+
+text_to_analyze = custom_input if custom_input else selected_text
+
+st.subheader('Full example text')
+HTML_WRAPPER = """<div class="scroll entities" style="overflow-x: auto; border: 1px solid #e6e9ef; border-radius: 0.25rem; padding: 1rem; margin-bottom: 2.5rem; white-space:pre-wrap">{}</div>"""
+st.markdown(HTML_WRAPPER.format(text_to_analyze), unsafe_allow_html=True)
+
+# Initialize Spark and create pipeline
+spark = init_spark()
+pipeline = create_pipeline(model)
+output = fit_data(pipeline, text_to_analyze)
+
+# Display matched sentence
+st.subheader("Processed output:")
+
+results = {
+    'Document': output[0]['document'][0].result,
+    'NER Chunk': [n.result for n in output[0]['ner_chunk']],
+    "NER Label": [n.metadata['entity'] for n in output[0]['ner_chunk']]
+}
+
+annotate(results)
+
+with st.expander("View DataFrame"):
+    df = pd.DataFrame({'NER Chunk': results['NER Chunk'], 'NER Label': results['NER Label']})
+    df.index += 1
+    st.dataframe(df)
+
+
+
+

Dockerfile

@@ -0,0 +1,70 @@
+# Download base image ubuntu 18.04
+FROM ubuntu:18.04
+
+# Set environment variables
+ENV NB_USER jovyan
+ENV NB_UID 1000
+ENV HOME /home/${NB_USER}
+
+# Install required packages
+RUN apt-get update && apt-get install -y \
+    tar \
+    wget \
+    bash \
+    rsync \
+    gcc \
+    libfreetype6-dev \
+    libhdf5-serial-dev \
+    libpng-dev \
+    libzmq3-dev \
+    python3 \
+    python3-dev \
+    python3-pip \
+    unzip \
+    pkg-config \
+    software-properties-common \
+    graphviz \
+    openjdk-8-jdk \
+    ant \
+    ca-certificates-java \
+    && apt-get clean \
+    && update-ca-certificates -f;
+
+# Install Python 3.8 and pip
+RUN add-apt-repository ppa:deadsnakes/ppa \
+    && apt-get update \
+    && apt-get install -y python3.8 python3-pip \
+    && apt-get clean;
+
+# Set up JAVA_HOME
+ENV JAVA_HOME /usr/lib/jvm/java-8-openjdk-amd64/
+RUN mkdir -p ${HOME} \
+    && echo "export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/" >> ${HOME}/.bashrc \
+    && chown -R ${NB_UID}:${NB_UID} ${HOME}
+
+# Create a new user named "jovyan" with user ID 1000
+RUN useradd -m -u ${NB_UID} ${NB_USER}
+
+# Switch to the "jovyan" user
+USER ${NB_USER}
+
+# Set home and path variables for the user
+ENV HOME=/home/${NB_USER} \
+    PATH=/home/${NB_USER}/.local/bin:$PATH
+
+# Set the working directory to the user's home directory
+WORKDIR ${HOME}
+
+# Upgrade pip and install Python dependencies
+RUN python3.8 -m pip install --upgrade pip
+COPY requirements.txt /tmp/requirements.txt
+RUN python3.8 -m pip install -r /tmp/requirements.txt
+
+# Copy the application code into the container at /home/jovyan
+COPY --chown=${NB_USER}:${NB_USER} . ${HOME}
+
+# Expose port for Streamlit
+EXPOSE 7860
+
+# Define the entry point for the container
+ENTRYPOINT ["streamlit", "run", "Demo.py", "--server.port=7860", "--server.address=0.0.0.0"]

pages/Workflow & Model Overview.py

@@ -0,0 +1,217 @@
+import streamlit as st
+import pandas as pd
+
+# Custom CSS for better styling
+st.markdown("""
+    <style>
+        .main-title {
+            font-size: 36px;
+            color: #4A90E2;
+            font-weight: bold;
+            text-align: center;
+        }
+        .sub-title {
+            font-size: 24px;
+            color: #4A90E2;
+            margin-top: 20px;
+        }
+        .section {
+            background-color: #f9f9f9;
+            padding: 15px;
+            border-radius: 10px;
+            margin-top: 20px;
+        }
+        .section h2 {
+            font-size: 22px;
+            color: #4A90E2;
+        }
+        .section p, .section ul {
+            color: #666666;
+        }
+        .link {
+            color: #4A90E2;
+            text-decoration: none;
+        }
+    </style>
+""", unsafe_allow_html=True)
+
+# Main Title
+st.markdown('<div class="main-title">Named Entity Recognition (NER) Model in Bengali (bengaliner_cc_300d)</div>', unsafe_allow_html=True)
+
+# Introduction
+st.markdown("""
+<div class="section">
+    <p>Named Entity Recognition (NER) is the task of identifying important words in a text and associating them with a category. In this post, we introduce an NER model designed for Bengali language texts. This model can detect four different types of entities in Indian text, leveraging the power of Spark NLP.</p>
+</div>
+""", unsafe_allow_html=True)
+
+# Model Description
+st.markdown('<div class="sub-title">Description</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>The <code>bengaliner_cc_300d</code> model is designed to detect four different types of entities in Bengali text. The predicted entities include:</p>
+    <ul>
+        <li>PER (Person)</li>
+        <li>ORG (Organization)</li>
+        <li>LOC (Location)</li>
+        <li>TIME (Time)</li>
+    </ul>
+</div>
+""", unsafe_allow_html=True)
+
+# Setup Instructions
+st.markdown('<div class="sub-title">Setup</div>', unsafe_allow_html=True)
+st.markdown('<p>To install Spark NLP in Python, use your favorite package manager (conda, pip, etc.). For example:</p>', unsafe_allow_html=True)
+st.code("""
+pip install spark-nlp
+pip install pyspark
+""", language="bash")
+
+st.markdown("<p>Then, import Spark NLP and start a Spark session:</p>", unsafe_allow_html=True)
+st.code("""
+import sparknlp
+
+# Start Spark Session
+spark = sparknlp.start()
+""", language='python')
+
+# Example Usage
+st.markdown('<div class="sub-title">Example Usage with Bengali NER Model</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>Below is an example of how to set up and use the <code>bengaliner_cc_300d</code> model for named entity recognition in Bengali:</p>
+</div>
+""", unsafe_allow_html=True)
+st.code('''
+from sparknlp.base import *
+from sparknlp.annotator import *
+from pyspark.ml import Pipeline
+from pyspark.sql.functions import col, expr, round, concat, lit
+
+# Document Assembler
+document_assembler = DocumentAssembler()\\
+    .setInputCol("text")\\
+    .setOutputCol("document")
+
+# Tokenizer
+tokenizer = Tokenizer()\\
+    .setInputCols(["document"])\\
+    .setOutputCol("token")
+
+# Word Embeddings
+embeddings = WordEmbeddingsModel.pretrained("bengali_cc_300d", "bn")\\
+    .setInputCols(["document", "token"])\\
+    .setOutputCol("embeddings")
+
+# NER Model
+ner = NerDLModel.pretrained("bengaliner_cc_300d", "bn")\\
+    .setInputCols(["document", "token", "embeddings"])\\
+    .setOutputCol("ner")
+
+# NER Converter
+ner_converter = NerConverter()\\
+    .setInputCols(["document", "token", "ner"])\\
+    .setOutputCol("ner_chunk")
+
+# Pipeline
+pipeline = Pipeline(stages=[document_assembler, tokenizer, embeddings, ner, ner_converter])
+
+# Example sentence
+example = spark.createDataFrame([["উইলিয়াম হেনরি গেটস III (জন্ম অক্টোবর ২৮, ১৯৫৫) একজন আমেরিকান ব্যবসায়ী, সফটওয়্যার ডেভেলপার, বিনিয়োগকারী এবং দাতা। তিনি মাইক্রোসফট কর্পোরেশনের সহ-প্রতিষ্ঠাতা হিসেবে সর্বাধিক পরিচিত। মাইক্রোসফটে তাঁর কর্মজীবনে, গেটস চেয়ারম্যান, প্রধান নির্বাহী কর্মকর্তা (CEO), প্রেসিডেন্ট এবং প্রধান সফটওয়্যার স্থপতি হিসেবে দায়িত্ব পালন করেছেন, পাশাপাশি ২০১৪ সালের মে পর্যন্ত সর্বাধিক শেয়ারহোল্ডার ছিলেন। তিনি ১৯৭০ এবং ১৯৮০ এর দশকের মাইক্রোকম্প��উটার বিপ্লবের অন্যতম পরিচিত উদ্যোক্তা এবং অগ্রদূত। সিয়াটল, ওয়াশিংটনে জন্মগ্রহণ ও বড় হওয়া গেটস, ১৯৭৫ সালে শৈশবের বন্ধু পল অ্যালেনের সাথে আলবুকার্কি, নিউ মেক্সিকোতে মাইক্রোসফটের সহ-প্রতিষ্ঠা করেন; এটি বিশ্বের বৃহত্তম ব্যক্তিগত কম্পিউটার সফটওয়্যার কোম্পানিতে পরিণত হয়। গেটস ২০০০ সালের জানুয়ারি পর্যন্ত চেয়ারম্যান ও CEO হিসেবে কোম্পানিকে নেতৃত্ব দেন, কিন্তু তিনি চেয়ারম্যান হিসাবে রয়ে যান এবং প্রধান সফটওয়্যার স্থপতি হন। ১৯৯০-এর দশকের শেষের দিকে, গেটসের ব্যবসায়িক কৌশলগুলোর জন্য সমালোচিত হয়েছিলেন, যা প্রতিযোগিতাহীন বলে বিবেচিত হয়েছে। এই মতামতটি বিভিন্ন আদালতের রায় দ্বারা সমর্থিত হয়েছে। ২০০৬ সালের জুনে, গেটস ঘোষণা করেছিলেন যে তিনি মাইক্রোসফটে আংশিক সময়ের ভূমিকা এবং বিল ও মেলিন্ডা গেটস ফাউন্ডেশনে পূর্ণকালীন কাজ করবেন, যা তিনি এবং তাঁর স্ত্রী মেলিন্ডা গেটস ২০০০ সালে প্রতিষ্ঠা করেছিলেন। তিনি ধীরে ধীরে তার দায়িত্বগুলি রে ওজি এবং ক্রেইগ মন্ডিকে হস্তান্তর করেন। তিনি ২০১৪ সালের ফেব্রুয়ারিতে মাইক্রোসফটের চেয়ারম্যান পদ থেকে সরে যান এবং নতুন নিয়োগপ্রাপ্ত CEO সত্য নাদেলার সমর্থনে প্রযুক্তি উপদেষ্টা হিসাবে নতুন পদ গ্রহণ করেন।"]], ["text"])
+
+# Transforming data
+result = pipeline.fit(example).transform(example)
+
+# Select the result, entity, and confidence columns
+result.select(
+    expr("explode(ner_chunk) as ner_chunk")
+).select(
+    col("ner_chunk.result").alias("chunk"),
+    col("ner_chunk.metadata").getItem("entity").alias("ner_label")
+).show(truncate=False)
+''', language="python")
+
+data = {
+    "Chunk": ["হেনরি গেটস", "সালের মে", "সিয়াটল", "সালে", "পল অ্যালেনের", "আলবুকার্কি", "নিউ মেক্সিকোতে", "সালের", "১৯৯০-এর", "সালের জুনে", "সালে", "ক্রেইগ মন্ডিকে", "সালের ফেব্রুয়ারিতে"],
+    "NER Label": ["PER", "TIME", "LOC", "TIME", "PER", "ORG", "LOC", "TIME", "TIME", "TIME", "TIME", "PER", "TIME"]
+}
+st.dataframe(pd.DataFrame(data))
+
+# Model Information
+st.markdown('<div class="sub-title">Model Information</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>The <code>bengaliner_cc_300d</code> model details are as follows:</p>
+    <ul>
+        <li><strong>Model Name:</strong> bengaliner_cc_300d</li>
+        <li><strong>Type:</strong> ner</li>
+        <li><strong>Compatibility:</strong> Spark NLP 2.7.3+</li>
+        <li><strong>License:</strong> Open Source</li>
+        <li><strong>Edition:</strong> Official</li>
+        <li><strong>Input Labels:</strong> [document, token, word_embeddings]</li>
+        <li><strong>Output Labels:</strong> [ner]</li>
+        <li><strong>Language:</strong> bn</li>
+        <li><strong>Data Source:</strong> This model is trained on data obtained from <a class="link" href="https://ieeexplore.ieee.org/document/8944804" target="_blank" rel="noopener">this paper</a></li>
+    </ul>
+</div>
+""", unsafe_allow_html=True)
+
+# Benchmark Section
+st.markdown('<div class="sub-title">Benchmark</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>Evaluating the performance of NER models is crucial to understanding their effectiveness in real-world applications. Below are the benchmark results for the <code>bengaliner_cc_300d</code> model, focusing on various named entity categories. The metrics used include precision, recall, and F1-score, which are standard for evaluating classification models.</p>
+</div>
+""", unsafe_allow_html=True)
+st.markdown("""
+---
+
+| Label  | TP   | FP   | FN   | Precision | Recall | F1-Score |
+|--------|------|------|------|-----------|--------|----------|
+| I-TIME | 167  | 37   | 25   | 0.8186    | 0.8698 | 0.8434   |
+| B-LOC  | 678  | 114  | 195  | 0.8561    | 0.7766 | 0.8144   |
+| I-ORG  | 287  | 104  | 143  | 0.7340    | 0.6674 | 0.6991   |
+| B-TIME | 414  | 54   | 123  | 0.8846    | 0.7710 | 0.8239   |
+| I-LOC  | 98   | 50   | 76   | 0.6622    | 0.5632 | 0.6087   |
+| I-PER  | 805  | 38   | 55   | 0.9549    | 0.9360 | 0.9454   |
+| B-ORG  | 446  | 108  | 225  | 0.8051    | 0.6647 | 0.7282   |
+| B-PER  | 764  | 48   | 183  | 0.9409    | 0.8068 | 0.8687   |
+| Macro-average | - | - | - | 0.8320 | 0.7569 | 0.7927 |
+| Micro-average | - | - | - | 0.8687 | 0.7812 | 0.8226 |
+
+---
+""", unsafe_allow_html=True)
+
+# Summary
+st.markdown('<div class="sub-title">Summary</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>In this article, we discussed named entity recognition using the <code>bengaliner_cc_300d</code> model for Bengali texts. We introduced how to perform NER with Spark NLP, set up the environment, and use the model. We also provided a detailed benchmark for the model's performance, demonstrating its effectiveness across various named entity categories.</p>
+    <p>For more information, refer to the <a class="link" href="https://sparknlp.org/2021/02/10/bengaliner_cc_300d_bn.html" target="_blank" rel="noopener">official documentation</a>.</p>
+</div>
+""", unsafe_allow_html=True)
+
+# References
+st.markdown('<div class="sub-title">References</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <ul>
+        <li><a class="link" href="https://sparknlp.org/api/python/reference/autosummary/sparknlp/annotator/ner/ner_dl/index.html" target="_blank" rel="noopener">NerDLModel</a> annotator documentation</li>
+        <li>Model Used: <a class="link" href="https://sparknlp.org/2021/02/10/bengaliner_cc_300d_bn.html" target="_blank" rel="noopener">bengaliner_cc_300d_bn</a></li>
+        <li><a class="link" href="https://nlp.johnsnowlabs.com/recognize_entitie" target="_blank" rel="noopener">Visualization demos for NER in Spark NLP</a></li>
+        <li><a class="link" href="https://www.johnsnowlabs.com/named-entity-recognition-ner-with-bert-in-spark-nlp/">Named Entity Recognition (NER) with BERT in Spark NLP</a></li>
+    </ul>
+</div>
+""", unsafe_allow_html=True)
+
+# Community & Support
+st.markdown('<div class="sub-title">Community & Support</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <ul>
+        <li><a class="link" href="https://sparknlp.org/" target="_blank">Official Website</a>: Documentation and examples</li>
+        <li><a class="link" href="https://github.com/JohnSnowLabs/spark-nlp" target="_blank">GitHub Repository</a>: Report issues or contribute</li>
+        <li><a class="link" href="https://forum.johnsnowlabs.com/" target="_blank">Community Forum</a>: Ask questions, share ideas, and get support</li>
+    </ul>
+</div>
+""", unsafe_allow_html=True)

requirements.txt

@@ -0,0 +1,6 @@
+streamlit
+st-annotated-text
+pandas
+numpy
+spark-nlp
+pyspark