Upload 5 files

.streamlit/config.toml

@@ -0,0 +1,3 @@
+[theme]
+base="light"
+primaryColor="#29B4E8"

Demo.py

@@ -0,0 +1,152 @@
+import streamlit as st
+import sparknlp
+import os
+import pandas as pd
+
+from sparknlp.base import *
+from sparknlp.annotator import *
+from pyspark.ml import Pipeline
+from sparknlp.pretrained import PretrainedPipeline
+from annotated_text import annotated_text
+
+# Page configuration
+st.set_page_config(
+    layout="wide", 
+    page_title="Spark NLP Demos App", 
+    initial_sidebar_state="auto"
+)
+
+# CSS for styling
+st.markdown("""
+    <style>
+        .main-title {
+            font-size: 36px;
+            color: #4A90E2;
+            font-weight: bold;
+            text-align: center;
+        }
+        .section p, .section ul {
+            color: #666666;
+        }
+    </style>
+""", unsafe_allow_html=True)
+
+@st.cache_resource
+def init_spark():
+    return sparknlp.start()
+
+@st.cache_resource
+def create_pipeline(model):
+    document_assembler = DocumentAssembler() \
+        .setInputCol("text") \
+        .setOutputCol("document")
+
+    tokenizer = Tokenizer() \
+        .setInputCols(["document"]) \
+        .setOutputCol("token")
+
+    embeddings = WordEmbeddingsModel.pretrained('glove_840B_300', lang='xx') \
+        .setInputCols(["document", "token"]) \
+        .setOutputCol("embeddings")
+
+    ner_model = NerDLModel.pretrained(model, 'xx') \
+        .setInputCols(["document", "token", "embeddings"]) \
+        .setOutputCol("ner")
+
+    ner_converter = NerConverter() \
+        .setInputCols(["document", "token", "ner"]) \
+        .setOutputCol("ner_chunk")
+
+    pipeline = Pipeline(stages=[
+        document_assembler,
+        tokenizer,
+        embeddings,
+        ner_model,
+        ner_converter
+    ])
+
+    return pipeline
+
+def fit_data(pipeline, data):
+  empty_df = spark.createDataFrame([['']]).toDF('text')
+  pipeline_model = pipeline.fit(empty_df)
+  model = LightPipeline(pipeline_model)
+  result = model.fullAnnotate(data)
+  return result
+
+def annotate(data):
+    document, chunks, labels = data["Document"], data["NER Chunk"], data["NER Label"]
+    annotated_words = []
+    for chunk, label in zip(chunks, labels):
+        parts = document.split(chunk, 1)
+        if parts[0]:
+            annotated_words.append(parts[0])
+        annotated_words.append((chunk, label))
+        document = parts[1]
+    if document:
+        annotated_words.append(document)
+    annotated_text(*annotated_words)
+
+# Set up the page layout
+st.markdown('<div class="main-title">Erkennen Sie Personen, Standorte, Organisationen und verschiedene Entitäten</div>', unsafe_allow_html=True)
+
+# Sidebar content
+model = st.sidebar.selectbox(
+    "Choose the pretrained model",
+    ["ner_wikiner_glove_840B_300"],
+    help="For more info about the models visit: https://sparknlp.org/models"
+)
+
+# Reference notebook link in sidebar
+link = """
+<a href="https://colab.research.google.com/github/JohnSnowLabs/spark-nlp-workshop/blob/master/tutorials/streamlit_notebooks/NER_DE.ipynb">
+    <img src="https://colab.research.google.com/assets/colab-badge.svg" style="zoom: 1.3" alt="Open In Colab"/>
+</a>
+"""
+st.sidebar.markdown('Reference notebook:')
+st.sidebar.markdown(link, unsafe_allow_html=True)
+
+# Load examples
+examples = [
+    """William Henry Gates III (* 28. Oktober 1955 in London) ist ein US-amerikanischer Geschäftsmann, Softwareentwickler, Investor und Philanthrop. Er ist bekannt als Mitbegründer der Microsoft Corporation. Während seiner Karriere bei Microsoft war Gates Vorsitzender, Chief Executive Officer (CEO), Präsident und Chief Software Architect und bis Mai 2014 der größte Einzelaktionär. Er ist einer der bekanntesten Unternehmer und Pioniere der Mikrocomputer-Revolution der 1970er und 1980er Jahre. Gates wurde in Seattle, Washington, geboren und wuchs dort auf. 1975 gründete er Microsoft zusammen mit seinem Freund aus Kindertagen, Paul Allen, in Albuquerque, New Mexico. Es entwickelte sich zum weltweit größten Unternehmen für Personal-Computer-Software. Gates leitete das Unternehmen als Chairman und CEO, bis er im Januar 2000 als CEO zurücktrat. Er blieb jedoch Chairman und wurde Chief Software Architect. In den späten neunziger Jahren wurde Gates für seine Geschäftstaktiken kritisiert, die als wettbewerbswidrig angesehen wurden. Diese Meinung wurde durch zahlreiche Gerichtsurteile bestätigt. Im Juni 2006 gab Gates bekannt, dass er eine Teilzeitstelle bei Microsoft und eine Vollzeitstelle bei der Bill & Melinda Gates Foundation, der privaten gemeinnützigen Stiftung, die er und seine Frau Melinda Gates im Jahr 2000 gegründet haben, übernehmen wird. [ 9] Er übertrug seine Aufgaben nach und nach auf Ray Ozzie und Craig Mundie. Im Februar 2014 trat er als Vorsitzender von Microsoft zurück und übernahm eine neue Position als Technologieberater, um den neu ernannten CEO Satya Nadella zu unterstützen.""",
+    """Die Mona Lisa ist ein Ölgemälde aus dem 16. Jahrhundert, das von Leonardo geschaffen wurde. Es findet im Louvre in Paris statt.""",
+    """Als Sebastian Thrun 2007 bei Google anfing, an selbstfahrenden Autos zu arbeiten, nahmen ihn nur wenige Leute außerhalb des Unternehmens ernst. "Ich kann Ihnen sagen, dass sehr hochrangige CEOs großer amerikanischer Automobilunternehmen mir die Hand schütteln und sich abwenden würden, weil ich es nicht wert war, mit ihnen zu sprechen", sagte Thrun, jetzt Mitbegründer und CEO des Online-Hochschul-Startups Udacity, in einem Interview mit Recode Anfang dieser Woche.""",
+    """Facebook ist ein sozialer Netzwerkdienst, der am 4. Februar 2004 als TheFacebook gestartet wurde. Er wurde von Mark Zuckerberg mit seinen Mitbewohnern und Kommilitonen der Harvard University, Eduardo Saverin, Andrew McCollum, Dustin Moskovitz und Chris Hughes, gegründet. Die Mitgliedschaft der Website wurde ursprünglich von den Gründern auf Harvard-Studenten beschränkt, aber auf andere Colleges in der Region Boston, die Ivy League und nach und nach auf die meisten Universitäten in den USA und Kanada ausgeweitet.""",
+    """Die Geschichte der Verarbeitung natürlicher Sprache begann im Allgemeinen in den 1950er Jahren, obwohl Arbeiten aus früheren Perioden gefunden werden können. 1950 veröffentlichte Alan Turing einen Artikel mit dem Titel "Computing Machinery and Intelligence", in dem der heutige Turing-Test als Kriterium für die Intelligenz vorgeschlagen wurde""",
+    """Geoffrey Everest Hinton ist ein englisch-kanadischer kognitiver Psychologe und Informatiker, der vor allem für seine Arbeit an künstlichen neuronalen Netzen bekannt ist. Seit 2013 arbeitet er für Google und die University of Toronto. 2017 war er Mitbegründer und wissenschaftlicher Leiter des Vector Institute in Toronto.""",
+    """Als ich John sagte, dass ich nach Alaska ziehen wollte, warnte er mich, dass ich dort Probleme haben würde, einen Starbucks zu finden.""",
+    """Steven Paul Jobs war ein amerikanischer Geschäftsmagnat, Industriedesigner, Investor und Medieninhaber. Er war Vorsitzender, Chief Executive Officer (CEO) und Mitbegründer von Apple Inc., Vorsitzender und Mehrheitsaktionär von Pixar, einem Mitglied des Board of Directors der Walt Disney Company nach der Übernahme von Pixar, und Gründer, Vorsitzender und CEO von NeXT. Jobs ist weithin als Pionier der PC-Revolution der 1970er und 1980er Jahre anerkannt, zusammen mit Apple-Mitbegründer Steve Wozniak. Jobs wurde in San Francisco, Kalifornien, geboren und zur Adoption freigegeben. Er wuchs in der San Francisco Bay Area auf. Er besuchte das Reed College 1972, bevor er es im selben Jahr abbrach, und reiste 1974 durch Indien, um Erleuchtung zu erlangen und den Zen-Buddhismus zu studieren.""",
+    """Titanic ist ein amerikanischer epischer Romantik- und Katastrophenfilm aus dem Jahr 1997, der von James Cameron inszeniert, geschrieben, co-produziert und mitherausgegeben wurde. Es enthält sowohl historische als auch fiktive Aspekte und basiert auf Berichten über den Untergang der RMS Titanic. Die Stars Leonardo DiCaprio und Kate Winslet sind Mitglieder verschiedener sozialer Schichten, die sich während ihrer unglücklichen Jungfernfahrt an Bord des Schiffes verlieben.""",
+    """John Snow ist nicht nur der König des Nordens, sondern auch ein englischer Arzt und führend in der Entwicklung von Anästhesie und medizinischer Hygiene. Er gilt als der erste, der Daten zur Heilung des Cholera-Ausbruchs im Jahr 1834 verwendet."""
+]
+
+selected_text = st.selectbox("Select an example", examples)
+custom_input = st.text_input("Try it with your own Sentence!")
+
+text_to_analyze = custom_input if custom_input else selected_text
+
+st.subheader('Full example text')
+HTML_WRAPPER = """<div class="scroll entities" style="overflow-x: auto; border: 1px solid #e6e9ef; border-radius: 0.25rem; padding: 1rem; margin-bottom: 2.5rem; white-space:pre-wrap">{}</div>"""
+st.markdown(HTML_WRAPPER.format(text_to_analyze), unsafe_allow_html=True)
+
+# Initialize Spark and create pipeline
+spark = init_spark()
+pipeline = create_pipeline(model)
+output = fit_data(pipeline, text_to_analyze)
+
+# Display matched sentence
+st.subheader("Processed output:")
+
+results = {
+    'Document': output[0]['document'][0].result,
+    'NER Chunk': [n.result for n in output[0]['ner_chunk']],
+    "NER Label": [n.metadata['entity'] for n in output[0]['ner_chunk']]
+}
+
+annotate(results)
+
+with st.expander("View DataFrame"):
+    df = pd.DataFrame({'NER Chunk': results['NER Chunk'], 'NER Label': results['NER Label']})
+    df.index += 1
+    st.dataframe(df)
+

Dockerfile

@@ -0,0 +1,70 @@
+# Download base image ubuntu 18.04
+FROM ubuntu:18.04
+
+# Set environment variables
+ENV NB_USER jovyan
+ENV NB_UID 1000
+ENV HOME /home/${NB_USER}
+
+# Install required packages
+RUN apt-get update && apt-get install -y \
+    tar \
+    wget \
+    bash \
+    rsync \
+    gcc \
+    libfreetype6-dev \
+    libhdf5-serial-dev \
+    libpng-dev \
+    libzmq3-dev \
+    python3 \
+    python3-dev \
+    python3-pip \
+    unzip \
+    pkg-config \
+    software-properties-common \
+    graphviz \
+    openjdk-8-jdk \
+    ant \
+    ca-certificates-java \
+    && apt-get clean \
+    && update-ca-certificates -f;
+
+# Install Python 3.8 and pip
+RUN add-apt-repository ppa:deadsnakes/ppa \
+    && apt-get update \
+    && apt-get install -y python3.8 python3-pip \
+    && apt-get clean;
+
+# Set up JAVA_HOME
+ENV JAVA_HOME /usr/lib/jvm/java-8-openjdk-amd64/
+RUN mkdir -p ${HOME} \
+    && echo "export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/" >> ${HOME}/.bashrc \
+    && chown -R ${NB_UID}:${NB_UID} ${HOME}
+
+# Create a new user named "jovyan" with user ID 1000
+RUN useradd -m -u ${NB_UID} ${NB_USER}
+
+# Switch to the "jovyan" user
+USER ${NB_USER}
+
+# Set home and path variables for the user
+ENV HOME=/home/${NB_USER} \
+    PATH=/home/${NB_USER}/.local/bin:$PATH
+
+# Set the working directory to the user's home directory
+WORKDIR ${HOME}
+
+# Upgrade pip and install Python dependencies
+RUN python3.8 -m pip install --upgrade pip
+COPY requirements.txt /tmp/requirements.txt
+RUN python3.8 -m pip install -r /tmp/requirements.txt
+
+# Copy the application code into the container at /home/jovyan
+COPY --chown=${NB_USER}:${NB_USER} . ${HOME}
+
+# Expose port for Streamlit
+EXPOSE 7860
+
+# Define the entry point for the container
+ENTRYPOINT ["streamlit", "run", "Demo.py", "--server.port=7860", "--server.address=0.0.0.0"]

pages/Workflow & Model Overview.py

@@ -0,0 +1,253 @@
+import streamlit as st
+
+# Custom CSS for better styling
+st.markdown("""
+    <style>
+        .main-title {
+            font-size: 36px;
+            color: #4A90E2;
+            font-weight: bold;
+            text-align: center;
+        }
+        .sub-title {
+            font-size: 24px;
+            color: #4A90E2;
+            margin-top: 20px;
+        }
+        .section {
+            background-color: #f9f9f9;
+            padding: 15px;
+            border-radius: 10px;
+            margin-top: 20px;
+        }
+        .section h2 {
+            font-size: 22px;
+            color: #4A90E2;
+        }
+        .section p, .section ul {
+            color: #666666;
+        }
+        .link {
+            color: #4A90E2;
+            text-decoration: none;
+        }
+    </style>
+""", unsafe_allow_html=True)
+
+# Main Title
+st.markdown('<div class="main-title">State-of-the-Art Named Entity Recognition with Spark NLP (German)</div>', unsafe_allow_html=True)
+
+# Introduction
+st.markdown("""
+<div class="section">
+    <p>Named Entity Recognition (NER) is the task of identifying important words in a text and associating them with a category. For example, we may be interested in finding all the personal names in documents, or company names in news articles. Other examples include domain-specific uses such as identifying all disease names in a clinical text, or company trading codes in financial ones.</p>
+    <p>NER can be implemented with many approaches. In this post, we introduce a deep learning-based method using the NerDL model. This approach leverages the scalability of Spark NLP with Python.</p>
+</div>
+""", unsafe_allow_html=True)
+
+# Introduction to Spark NLP
+st.markdown('<div class="sub-title">Introduction to Spark NLP</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>Spark NLP is an open-source library maintained by John Snow Labs. It is built on top of Apache Spark and Spark ML and provides simple, performant & accurate NLP annotations for machine learning pipelines that can scale easily in a distributed environment.</p>
+    <p>To install Spark NLP, you can simply use any package manager like conda or pip. For example, using pip you can simply run <code>pip install spark-nlp</code>. For different installation options, check the official <a href="https://nlp.johnsnowlabs.com/docs/en/install" target="_blank" class="link">documentation</a>.</p>
+</div>
+""", unsafe_allow_html=True)
+
+# Using NerDL Model
+st.markdown('<div class="sub-title">Using NerDL Model</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>The NerDL model in Spark NLP is a deep learning-based approach for NER tasks. It uses a Char CNNs - BiLSTM - CRF architecture that achieves state-of-the-art results in most datasets. The training data should be a labeled Spark DataFrame in the format of CoNLL 2003 IOB with annotation type columns.</p>
+</div>
+""", unsafe_allow_html=True)
+
+# Setup Instructions
+st.markdown('<div class="sub-title">Setup</div>', unsafe_allow_html=True)
+st.markdown('<p>To install Spark NLP in Python, use your favorite package manager (conda, pip, etc.). For example:</p>', unsafe_allow_html=True)
+st.code("""
+pip install spark-nlp
+pip install pyspark
+""", language="bash")
+
+st.markdown("<p>Then, import Spark NLP and start a Spark session:</p>", unsafe_allow_html=True)
+st.code("""
+import sparknlp
+
+# Start Spark Session
+spark = sparknlp.start()
+""", language='python')
+
+# Example Usage with NerDL Model in Italian
+st.markdown('<div class="sub-title">Example Usage with NerDL Model in Italian</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>Below is an example of how to set up and use the NerDL model for named entity recognition in Italian:</p>
+</div>
+""", unsafe_allow_html=True)
+st.code('''
+from sparknlp.base import *
+from sparknlp.annotator import *
+from pyspark.ml import Pipeline
+from pyspark.sql.functions import col, expr, round, concat, lit
+
+# Document Assembler
+document_assembler = DocumentAssembler() \\
+    .setInputCol("text") \\
+    .setOutputCol("document")
+
+# Tokenizer
+tokenizer = Tokenizer() \\
+    .setInputCols(["document"]) \\
+    .setOutputCol("token")
+
+# Word Embeddings
+embeddings = WordEmbeddingsModel.pretrained('glove_840B_300', lang='xx') \\
+    .setInputCols(["document", "token"]) \\
+    .setOutputCol("embeddings")
+
+# NerDL Model
+ner_model = NerDLModel.pretrained('ner_wikiner_glove_840B_300', 'xx') \\
+    .setInputCols(["document", "token", "embeddings"]) \\
+    .setOutputCol("ner")
+
+# NER Converter
+ner_converter = NerConverter() \\
+    .setInputCols(["document", "token", "ner"]) \\
+    .setOutputCol("ner_chunk")
+
+# Pipeline
+pipeline = Pipeline(stages=[
+    document_assembler,
+    tokenizer,
+    embeddings,
+    ner_model,
+    ner_converter
+])
+
+# Example sentence
+example = """William Henry Gates III (* 28. Oktober 1955 in London) ist ein US-amerikanischer Geschäftsmann, Softwareentwickler, Investor und Philanthrop. Er ist bekannt als Mitbegründer der Microsoft Corporation. Während seiner Karriere bei Microsoft war Gates Vorsitzender, Chief Executive Officer (CEO), Präsident und Chief Software Architect und bis Mai 2014 der größte Einzelaktionär. Er ist einer der bekanntesten Unternehmer und Pioniere der Mikrocomputer-Revolution der 1970er und 1980er Jahre. Gates wurde in Seattle, Washington, geboren und wuchs dort auf. 1975 gründete er Microsoft zusammen mit seinem Freund aus Kindertagen, Paul Allen, in Albuquerque, New Mexico. Es entwickelte sich zum weltweit größten Unternehmen für Personal-Computer-Software. Gates leitete das Unternehmen als Chairman und CEO, bis er im Januar 2000 als CEO zurücktrat. Er blieb jedoch Chairman und wurde Chief Software Architect. In den späten neunziger Jahren wurde Gates für seine Geschäftstaktiken kritisiert, die als wettbewerbswidrig angesehen wurden. Diese Meinung wurde durch zahlreiche Gerichtsurteile bestätigt. Im Juni 2006 gab Gates bekannt, dass er eine Teilzeitstelle bei Microsoft und eine Vollzeitstelle bei der Bill & Melinda Gates Foundation, der privaten gemeinnützigen Stiftung, die er und seine Frau Melinda Gates im Jahr 2000 gegründet haben, übernehmen wird. [ 9] Er übertrug seine Aufgaben nach und nach auf Ray Ozzie und Craig Mundie. Im Februar 2014 trat er als Vorsitzender von Microsoft zurück und übernahm eine neue Position als Technologieberater, um den neu ernannten CEO Satya Nadella zu unterstützen."""
+data = spark.createDataFrame([[example]]).toDF("text")
+
+# Transforming data
+result = pipeline.fit(data).transform(data)
+
+# Select the result, entity, and confidence columns
+result.select(
+    expr("explode(ner_chunk) as ner_chunk")
+).select(
+    col("ner_chunk.result").alias("result"),
+    col("ner_chunk.metadata").getItem("entity").alias("entity"),
+    concat(
+        round((col("ner_chunk.metadata").getItem("confidence").cast("float") * 100), 2),
+        lit("%")
+    ).alias("confidence")
+).show(truncate=False)
+''', language="python")
+
+st.text("""
++-------------------------------+------+----------+
+|result                         |entity|confidence|
++-------------------------------+------+----------+
+|William Henry Gates III        |PER   |57.6%     |
+|London                         |LOC   |91.51%    |
+|US-amerikanischer              |MISC  |99.56%    |
+|Microsoft Corporation          |ORG   |72.69%    |
+|Microsoft                      |ORG   |98.13%    |
+|Gates                          |PER   |93.14%    |
+|Gates                          |PER   |77.17%    |
+|Seattle                        |LOC   |89.12%    |
+|Washington                     |LOC   |73.5%     |
+|Microsoft                      |ORG   |95.15%    |
+|Paul Allen                     |PER   |85.83%    |
+|Albuquerque                    |LOC   |84.27%    |
+|New Mexico                     |LOC   |67.22%    |
+|Gates                          |PER   |97.12%    |
+|Gates                          |PER   |97.68%    |
+|Gates                          |PER   |98.26%    |
+|Microsoft                      |ORG   |98.1%     |
+|Bill & Melinda Gates Foundation|MISC  |42.91%    |
+|Melinda Gates                  |PER   |87.0%     |
+|Ray Ozzie                      |PER   |83.86%    |
++-------------------------------+------+----------+
+""")
+
+# Benchmark Section
+st.markdown('<div class="sub-title">Benchmark</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>Evaluating the performance of NER models is crucial to understanding their effectiveness in real-world applications. Below are the benchmark results for the "ner_wikiner_glove_840B_300" model on Italian text, focusing on various named entity categories. The metrics used include precision, recall, and F1-score, which are standard for evaluating classification models.</p>
+</div>
+""", unsafe_allow_html=True)
+
+st.markdown("""
+<div class="sub-title">Detailed Results</div>
+
+| Entity Type | Precision | Recall | F1-Score | Support |
+|-------------|:---------:|:------:|:--------:|--------:|
+| **B-LOC**   | 0.88      | 0.92   | 0.90     | 13,050  |
+| **I-ORG**   | 0.78      | 0.71   | 0.74     | 1,211   |
+| **I-LOC**   | 0.89      | 0.85   | 0.87     | 7,454   |
+| **I-PER**   | 0.93      | 0.94   | 0.94     | 4,539   |
+| **B-ORG**   | 0.88      | 0.72   | 0.79     | 2,222   |
+| **B-PER**   | 0.90      | 0.93   | 0.92     | 7,206   |
+
+<div class="sub-title">Averages</div>
+
+| Average Type | Precision | Recall | F1-Score | Support |
+|--------------|:---------:|:------:|:--------:|--------:|
+| **Micro**    | 0.89      | 0.89   | 0.89     | 35,682  |
+| **Macro**    | 0.88      | 0.85   | 0.86     | 35,682  |
+| **Weighted** | 0.89      | 0.89   | 0.89     | 35,682  |
+
+<div class="sub-title">Category-Specific Performance</div>
+
+| Category | Precision | Recall | F1-Score | Support |
+|----------|:---------:|:------:|:--------:|--------:|
+| **LOC**  | 86.33%    | 90.53% | 88.38    | 13,685  |
+| **MISC** | 81.88%    | 67.03% | 73.72    | 3,069   |
+| **ORG**  | 85.91%    | 70.52% | 77.46    | 1,824   |
+| **PER**  | 89.54%    | 92.08% | 90.79    | 7,410   |
+
+<div class="sub-title">Additional Metrics</div>
+
+- **Processed Tokens:** 349,242
+- **Total Phrases:** 26,227
+- **Found Phrases:** 25,988
+- **Correct Phrases:** 22,529
+- **Accuracy (non-O):** 85.99%
+- **Overall Accuracy:** 98.06%
+""", unsafe_allow_html=True)
+
+# Summary
+st.markdown('<div class="sub-title">Summary</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>In this article, we discussed named entity recognition using a deep learning-based method with the "wikiner_840B_300" model for Italian. We introduced how to perform the task using the open-source Spark NLP library with Python, which can be used at scale in the Spark ecosystem. These methods can be used for natural language processing applications in various fields, including finance and healthcare.</p>
+</div>
+""", unsafe_allow_html=True)
+
+# References
+st.markdown('<div class="sub-title">References</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <ul>
+        <li><a class="link" href="https://sparknlp.org/api/python/reference/autosummary/sparknlp/annotator/ner/ner_dl/index.html" target="_blank" rel="noopener">NerDLModel</a> annotator documentation</li>
+        <li>Model Used: <a class="link" href="https://sparknlp.org/2021/07/19/ner_wikiner_glove_840B_300_xx.html" target="_blank" rel="noopener">ner_wikiner_glove_840B_300</a></li>
+        <li><a class="link" href="https://nlp.johnsnowlabs.com/recognize_entitie" target="_blank" rel="noopener">Visualization demos for NER in Spark NLP</a></li>
+        <li><a class="link" href="https://www.johnsnowlabs.com/named-entity-recognition-ner-with-bert-in-spark-nlp/">Named Entity Recognition (NER) with BERT in Spark NLP</a></li>
+    </ul>
+</div>
+""", unsafe_allow_html=True)
+
+# Community & Support
+st.markdown('<div class="sub-title">Community & Support</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <ul>
+        <li><a class="link" href="https://sparknlp.org/" target="_blank">Official Website</a>: Documentation and examples</li>
+        <li><a class="link" href="https://join.slack.com/t/spark-nlp/shared_invite/zt-198dipu77-L3UWNe_AJf4Rqb3DaMb-7A" target="_blank">Slack Community</a>: Connect with other Spark NLP users</li>
+        <li><a class="link" href="https://github.com/JohnSnowLabs/spark-nlp" target="_blank">GitHub Repository</a>: Source code and issue tracker</li>
+    </ul>
+</div>
+""", unsafe_allow_html=True)

requirements.txt

@@ -0,0 +1,6 @@
+streamlit
+st-annotated-text
+pandas
+numpy
+spark-nlp
+pyspark