Upload 5 files

.streamlit/config.toml

@@ -0,0 +1,3 @@
+[theme]
+base="light"
+primaryColor="#29B4E8"

Demo.py

@@ -0,0 +1,149 @@
+import streamlit as st
+import sparknlp
+import os
+import pandas as pd
+
+from sparknlp.base import *
+from sparknlp.annotator import *
+from pyspark.ml import Pipeline
+from sparknlp.pretrained import PretrainedPipeline
+from annotated_text import annotated_text
+
+# Page configuration
+st.set_page_config(
+    layout="wide", 
+    initial_sidebar_state="auto"
+)
+
+# CSS for styling
+st.markdown("""
+    <style>
+        .main-title {
+            font-size: 36px;
+            color: #4A90E2;
+            font-weight: bold;
+            text-align: center;
+        }
+        .section p, .section ul {
+            color: #666666;
+        }
+    </style>
+""", unsafe_allow_html=True)
+
+@st.cache_resource
+def init_spark():
+    return sparknlp.start()
+
+@st.cache_resource
+def create_pipeline(model):
+    document_assembler = DocumentAssembler().setInputCol("text").setOutputCol("document")
+    sentence_detector = SentenceDetectorDLModel.pretrained("sentence_detector_dl", "xx").setInputCols(["document"]).setOutputCol("sentence")
+    
+    tokenizer_input = "sentence" if model != "bert_token_classifier_scandi_ner" else "document"
+    tokenizer = Tokenizer().setInputCols([tokenizer_input]).setOutputCol("token")
+    
+    embeddings = {
+        "norne_840B_300": 'glove_840B_300',
+        "norne_6B_300": 'glove_6B_300',
+        "norne_6B_100": 'glove_100d'
+    }.get(model, 'glove_100d')
+
+    embeddings_stage = WordEmbeddingsModel.pretrained(embeddings, lang='xx' if 'glove' in embeddings else None) \
+        .setInputCols(['document', 'token']) \
+        .setOutputCol('embeddings')
+
+    ner_model = BertForTokenClassification.pretrained("bert_token_classifier_scandi_ner", "xx") \
+        .setInputCols(["token", "document"]) \
+        .setOutputCol("ner") if model == "bert_token_classifier_scandi_ner" else \
+        NerDLModel.pretrained(model, 'no') \
+        .setInputCols(["document", "token", "embeddings"]) \
+        .setOutputCol("ner")
+
+    ner_converter = NerConverter().setInputCols(["document", "token", "ner"]).setOutputCol("ner_chunk")
+
+    stages = [document_assembler, sentence_detector, tokenizer, embeddings_stage, ner_model, ner_converter]
+    return Pipeline(stages=stages)
+
+def fit_data(pipeline, data):
+  empty_df = spark.createDataFrame([['']]).toDF('text')
+  pipeline_model = pipeline.fit(empty_df)
+  model = LightPipeline(pipeline_model)
+  result = model.fullAnnotate(data)
+  return result
+
+def annotate(data):
+    document, chunks, labels = data["Document"], data["NER Chunk"], data["NER Label"]
+    annotated_words = []
+    for chunk, label in zip(chunks, labels):
+        parts = document.split(chunk, 1)
+        if parts[0]:
+            annotated_words.append(parts[0])
+        annotated_words.append((chunk, label))
+        document = parts[1]
+    if document:
+        annotated_words.append(document)
+    annotated_text(*annotated_words)
+
+# Set up the page layout
+st.markdown('<div class="main-title">Gjenkjenne personer, steder, organisasjoner og andre enheter</div>', unsafe_allow_html=True)
+
+# Sidebar content
+model = st.sidebar.selectbox(
+    "Choose the pretrained model",
+    ["bert_token_classifier_scandi_ner", "norne_840B_300", "norne_6B_300", "norne_6B_100"],
+    help="For more info about the models visit: https://sparknlp.org/models"
+)
+
+# Reference notebook link in sidebar
+link = """
+<a href="https://colab.research.google.com/github/JohnSnowLabs/spark-nlp-workshop/blob/master/tutorials/streamlit_notebooks/NER_NO.ipynb">
+    <img src="https://colab.research.google.com/assets/colab-badge.svg" style="zoom: 1.3" alt="Open In Colab"/>
+</a>
+"""
+st.sidebar.markdown('Reference notebook:')
+st.sidebar.markdown(link, unsafe_allow_html=True)
+
+# Load examples
+examples = [
+    "William Henry Gates III (født 28. oktober 1955) er en amerikansk forretningsmagnat, programvareutvikler, investor og filantrop. Han er best kjent som medgrunnlegger av Microsoft Corporation. I løpet av karrieren hos Microsoft hadde Gates stillingene som styreleder, administrerende direktør (CEO), president og sjefarkitekt for programvare, samtidig som han også var den største enkelteieren frem til mai 2014. Han er en av de mest kjente gründerne og pionerene innen mikrodatamaskinrevolusjonen på 1970- og 1980-tallet. Gates ble født og oppvokst i Seattle, Washington, og grunnla Microsoft sammen med barndomsvennen Paul Allen i 1975, i Albuquerque, New Mexico; det ble verdens største selskap for personlig datamaskinprogramvare. Gates ledet selskapet som styreleder og CEO fram til han trakk seg som CEO i januar 2000, men han forble styreleder og ble sjefarkitekt for programvare. På slutten av 1990-tallet ble Gates kritisert for sine forretningsmetoder, som ble ansett som anti-konkurransedyktige. Denne oppfatningen har blitt støttet av flere rettsavgjørelser. I juni 2006 annonserte Gates at han skulle gå over til en deltidsrolle i Microsoft og fulltidsarbeid ved Bill & Melinda Gates Foundation, den private veldedige stiftelsen han og kona Melinda Gates opprettet i 2000. Han overførte gradvis sine oppgaver til Ray Ozzie og Craig Mundie. Han trakk seg som styreleder i Microsoft i februar 2014 og overtok en ny stilling som teknologirådgiver for å støtte den nyutnevnte CEO-en Satya Nadella.",
+    "Mona Lisa er et oljemaleri fra det 16. århundre skapt av Leonardo. Den er utstilt på Louvre i Paris.",
+    "Da Sebastian Thrun begynte å jobbe med selvkjørende biler hos Google i 2007, tok få mennesker utenfor selskapet ham på alvor. 'Jeg kan fortelle deg at svært høytstående administrerende direktører for store amerikanske bilfirmaer ville håndhilse på meg og snu seg bort fordi det ikke var verdt å snakke med meg,' sa Thrun, nå medgrunnlegger og CEO for nettbasert høyere utdanningsoppstart Udacity, i et intervju med Recode tidligere denne uken.",
+    "Facebook er en sosial nettverkstjeneste lansert som TheFacebook 4. februar 2004. Den ble grunnlagt av Mark Zuckerberg sammen med sine universitetskamerater og medstudenter ved Harvard University Eduardo Saverin, Andrew McCollum, Dustin Moskovitz og Chris Hughes. Medlemskapet på nettstedet var opprinnelig begrenset til Harvard-studenter, men ble utvidet til andre høyskoler i Boston-området, Ivy League og gradvis de fleste universiteter i USA og Canada.",
+    "Historien om naturlig språkbehandling begynte generelt sett på 1950-tallet, selv om arbeid kan finnes fra tidligere perioder. I 1950 publiserte Alan Turing en artikkel med tittelen 'Computing Machinery and Intelligence' som foreslo det som nå kalles Turing-testen som kriterium for intelligens.",
+    "Geoffrey Everest Hinton er en engelsk-kanadisk kognitiv psykolog og datavitenskapsmann, mest kjent for sitt arbeid med kunstige nevrale nettverk. Siden 2013 deler han tiden sin mellom Google og University of Toronto. I 2017 grunnla han og ble Chief Scientific Advisor for Vector Institute in Toronto.",
+    "Da jeg fortalte John at jeg ville flytte til Alaska, advarte han meg om at jeg ville få problemer med å finne en Starbucks der.",
+    "Steven Paul Jobs var en amerikansk forretningsmagnat, industriell designer, investor og medieeier. Han var styreleder, administrerende direktør (CEO) og medgrunnlegger av Apple Inc., styreleder og majoritetseier av Pixar, medlem av styret i The Walt Disney Company etter oppkjøpet av Pixar, og grunnlegger, styreleder og CEO for NeXT. Jobs er bredt anerkjent som en pioner innen den personlige datamaskinrevolusjonen på 1970- og 1980-tallet, sammen med Apple-medgrunnleggeren Steve Wozniak. Jobs ble født i San Francisco, California, og ble satt opp for adopsjon. Han ble oppdratt i San Francisco Bay Area. Han gikk på Reed College i 1972 før han droppet ut samme år, og reiste gjennom India i 1974 på jakt etter opplysning og studerte zen-buddhisme.",
+    "Titanic er en amerikansk episk romantisk og katastrofefilm fra 1997 regissert,skrevet, co-produsert og co-redigert av James Cameron. Ved å inkludere både historiske og fiktive aspekter, er den basert på beretninger om RMS Titanics forlis, og har Leonardo DiCaprio og Kate Winslet i rollene som medlemmer av forskjellige sosiale klasser som forelsker seg om bord på skipet under dets ulykksalige jomfrureise.",
+    "Bortsett fra å være kongen av nord, er John Snow en engelsk lege og en leder innen utviklingen av anestesi og medisinsk hygiene. Han anses for å være den første som brukte data for å kurere kolerautbruddet i 1834."
+]
+
+selected_text = st.selectbox("Select an example", examples)
+custom_input = st.text_input("Try it with your own Sentence!")
+
+text_to_analyze = custom_input if custom_input else selected_text
+
+st.subheader('Full example text')
+HTML_WRAPPER = """<div class="scroll entities" style="overflow-x: auto; border: 1px solid #e6e9ef; border-radius: 0.25rem; padding: 1rem; margin-bottom: 2.5rem; white-space:pre-wrap">{}</div>"""
+st.markdown(HTML_WRAPPER.format(text_to_analyze), unsafe_allow_html=True)
+
+# Initialize Spark and create pipeline
+spark = init_spark()
+pipeline = create_pipeline(model)
+output = fit_data(pipeline, text_to_analyze)
+
+# Display matched sentence
+st.subheader("Processed output:")
+
+results = {
+    'Document': output[0]['document'][0].result,
+    'NER Chunk': [n.result for n in output[0]['ner_chunk']],
+    "NER Label": [n.metadata['entity'] for n in output[0]['ner_chunk']]
+}
+
+annotate(results)
+
+with st.expander("View DataFrame"):
+    df = pd.DataFrame({'NER Chunk': results['NER Chunk'], 'NER Label': results['NER Label']})
+    df.index += 1
+    st.dataframe(df)
+

Dockerfile

@@ -0,0 +1,70 @@
+# Download base image ubuntu 18.04
+FROM ubuntu:18.04
+
+# Set environment variables
+ENV NB_USER jovyan
+ENV NB_UID 1000
+ENV HOME /home/${NB_USER}
+
+# Install required packages
+RUN apt-get update && apt-get install -y \
+    tar \
+    wget \
+    bash \
+    rsync \
+    gcc \
+    libfreetype6-dev \
+    libhdf5-serial-dev \
+    libpng-dev \
+    libzmq3-dev \
+    python3 \
+    python3-dev \
+    python3-pip \
+    unzip \
+    pkg-config \
+    software-properties-common \
+    graphviz \
+    openjdk-8-jdk \
+    ant \
+    ca-certificates-java \
+    && apt-get clean \
+    && update-ca-certificates -f;
+
+# Install Python 3.8 and pip
+RUN add-apt-repository ppa:deadsnakes/ppa \
+    && apt-get update \
+    && apt-get install -y python3.8 python3-pip \
+    && apt-get clean;
+
+# Set up JAVA_HOME
+ENV JAVA_HOME /usr/lib/jvm/java-8-openjdk-amd64/
+RUN mkdir -p ${HOME} \
+    && echo "export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/" >> ${HOME}/.bashrc \
+    && chown -R ${NB_UID}:${NB_UID} ${HOME}
+
+# Create a new user named "jovyan" with user ID 1000
+RUN useradd -m -u ${NB_UID} ${NB_USER}
+
+# Switch to the "jovyan" user
+USER ${NB_USER}
+
+# Set home and path variables for the user
+ENV HOME=/home/${NB_USER} \
+    PATH=/home/${NB_USER}/.local/bin:$PATH
+
+# Set the working directory to the user's home directory
+WORKDIR ${HOME}
+
+# Upgrade pip and install Python dependencies
+RUN python3.8 -m pip install --upgrade pip
+COPY requirements.txt /tmp/requirements.txt
+RUN python3.8 -m pip install -r /tmp/requirements.txt
+
+# Copy the application code into the container at /home/jovyan
+COPY --chown=${NB_USER}:${NB_USER} . ${HOME}
+
+# Expose port for Streamlit
+EXPOSE 7860
+
+# Define the entry point for the container
+ENTRYPOINT ["streamlit", "run", "Demo.py", "--server.port=7860", "--server.address=0.0.0.0"]

pages/Workflow & Model Overview.py

@@ -0,0 +1,245 @@
+import streamlit as st
+
+# Custom CSS for better styling
+st.markdown("""
+    <style>
+        .main-title {
+            font-size: 36px;
+            color: #4A90E2;
+            font-weight: bold;
+            text-align: center;
+        }
+        .sub-title {
+            font-size: 24px;
+            color: #4A90E2;
+            margin-top: 20px;
+        }
+        .section {
+            background-color: #f9f9f9;
+            padding: 15px;
+            border-radius: 10px;
+            margin-top: 20px;
+        }
+        .section h2 {
+            font-size: 22px;
+            color: #4A90E2;
+        }
+        .section p, .section ul {
+            color: #666666;
+        }
+        .link {
+            color: #4A90E2;
+            text-decoration: none;
+        }
+    </style>
+""", unsafe_allow_html=True)
+
+# Main Title
+st.markdown('<div class="main-title">State-of-the-Art Named Entity Recognition with Spark NLP (Scandinavian Languages)</div>', unsafe_allow_html=True)
+
+# Introduction
+st.markdown("""
+<div class="section">
+    <p>Named Entity Recognition (NER) is the task of identifying important words in a text and associating them with a category. For example, we may be interested in finding all the personal names in documents, or company names in news articles. Other examples include domain-specific uses such as identifying all disease names in a clinical text, or company trading codes in financial ones.</p>
+    <p>NER can be implemented with many approaches. In this post, we introduce a deep learning-based method using the BertForTokenClassification model. This approach leverages the scalability of Spark NLP with Python.</p>
+</div>
+""", unsafe_allow_html=True)
+
+# Introduction to Spark NLP
+st.markdown('<div class="sub-title">Introduction to Spark NLP</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>Spark NLP is an open-source library maintained by John Snow Labs. It is built on top of Apache Spark and Spark ML and provides simple, performant & accurate NLP annotations for machine learning pipelines that can scale easily in a distributed environment.</p>
+    <p>To install Spark NLP, you can simply use any package manager like conda or pip. For example, using pip you can simply run <code>pip install spark-nlp</code>. For different installation options, check the official <a href="https://nlp.johnsnowlabs.com/docs/en/install" target="_blank" class="link">documentation</a>.</p>
+</div>
+""", unsafe_allow_html=True)
+
+# Using BertForTokenClassification Model
+st.markdown('<div class="sub-title">Using BertForTokenClassification Model</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>The <code>BertForTokenClassification</code> model in Spark NLP is a deep learning-based approach for NER tasks. It uses BERT embeddings for token classification that achieve state-of-the-art results in most datasets. This model loads BERT models with a token classification head on top (a linear layer on top of the hidden-states output) e.g. for Named-Entity-Recognition (NER) tasks.</p>
+</div>
+""", unsafe_allow_html=True)
+
+# Setup Instructions
+st.markdown('<div class="sub-title">Setup</div>', unsafe_allow_html=True)
+st.markdown('<p>To install Spark NLP in Python, use your favorite package manager (conda, pip, etc.). For example:</p>', unsafe_allow_html=True)
+st.code("""
+pip install spark-nlp
+pip install pyspark
+""", language="bash")
+
+st.markdown("<p>Then, import Spark NLP and start a Spark session:</p>", unsafe_allow_html=True)
+st.code("""
+import sparknlp
+
+# Start Spark Session
+spark = sparknlp.start()
+""", language='python')
+
+# Example Usage with BertForTokenClassification Model in Scandinavian Languages
+st.markdown('<div class="sub-title">Example Usage with BertForTokenClassification Model in Scandinavian Languages</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>Below is an example of how to set up and use the <code>BertForTokenClassification</code> model for named entity recognition in Scandinavian languages:</p>
+</div>
+""", unsafe_allow_html=True)
+st.code('''
+from sparknlp.base import *
+from sparknlp.annotator import *
+from pyspark.ml import Pipeline
+
+# Document Assembler
+document_assembler = DocumentAssembler()\\
+    .setInputCol("text")\\
+    .setOutputCol("document")
+
+# Sentence Detector
+sentenceDetector = SentenceDetectorDLModel.pretrained("sentence_detector_dl", "xx")\\
+    .setInputCols(["document"])\\
+    .setOutputCol("sentence")
+
+# Tokenizer
+tokenizer = Tokenizer()\\
+    .setInputCols(["sentence"])\\
+    .setOutputCol("token")
+
+# Token Classifier
+tokenClassifier = BertForTokenClassification.pretrained("bert_token_classifier_scandi_ner", "xx")\\
+    .setInputCols(["token", "document"])\\
+    .setOutputCol("ner")
+
+# NER Converter
+ner_converter = NerConverter()\\
+    .setInputCols(["sentence", "token", "ner"])\\
+    .setOutputCol("ner_chunk")
+
+# Pipeline
+nlpPipeline = Pipeline(stages=[documentAssembler, sentenceDetector, tokenizer, tokenClassifier, ner_converter])
+
+# Example sentence
+text = combined_text = """
+Danish:
+Lars Andersen arbejder som softwareudvikler i København. Han bor sammen med sin familie i en charmerende lejlighed i Vesterbro. I weekenderne nyder Lars at tage på cykelture i Frederiksberg Have og besøge museer som Statens Museum for Kunst. Han er også en stor fan af fodbold og følger med i kampe fra FC København og Brøndby IF.
+
+Bokmål (Norwegian):
+Anna Johansen jobber som arkitekt i Oslo. Hun bor i en moderne leilighet i sentrum og elsker å tilbringe helgene med å utforske nye restauranter og kafeer. Anna har en stor interesse for kunst og besøker ofte Nasjonalmuseet for å se på utstillinger. Hun er også en ivrig leser og tilbringer tid på biblioteket.
+
+Nynorsk (Norwegian):
+Martin Berg er landskapsarkitekt i Bergen. Han bur i ein historisk bygning i sentrum og nyt å gå på turar i nærområdet i helgene. Martin er opptatt av bærekraft og brukar mykje tid på å arbeide med grøne prosjekt og parker. Han er også engasjert i lokalt frivillig arbeid og deltek i arrangement på det lokale kulturhuset.
+
+Swedish:
+Emma Svensson arbetar som lärare i Stockholm. Hon bor i en charmig lägenhet i Södermalm och tillbringar sina helger med att utforska olika kulturevenemang och utställningar. Emma är en stor beundrare av svensk litteratur och besöker ofta biblioteket för att läsa de senaste romanerna. Hon är också en aktiv medlem i en lokal bokklubb.
+
+Icelandic:
+Jón Guðmundsson vinnur sem læknir í Reykjavík. Hann býr í fallegri íbúð í miðborginni og nýtur þess að fara í gönguferðir í Esju og heimsækja listasafn Reykjavíkur um helgar. Jón er áhugasamur um íslenska sagnfræði og eyðir oft tíma í að lesa gamla bókmenntir. Hann tekur einnig þátt í samfélagsverkefnum sem stuðla að menningarlegri fræðslu.
+
+Faroese:
+Rúna Hansen arbeiðir sum lærari í Tórshavn. Hon býr í einum rúmligum íbúð í miðbýin og nýtur at ferðast runt í náttúruni í frítíðini. Rúna hevur stóran áhuga fyri føroyskum bókmentum og fer ofta til bókasavnið at lesa nýggjastu útgávurnar. Hon er eisini aktiv í einum lokala bókaklubi.
+"""
+
+# Transforming data
+empty_data = spark.createDataFrame([[""]]).toDF("text")
+model = nlpPipeline.fit(empty_data)
+result = model.transform(spark.createDataFrame([[text]]).toDF("text"))
+
+# Select the result, entity, and confidence columns
+result.select(
+    expr("explode(ner_chunk) as ner_chunk")
+).select(
+    col("ner_chunk.result").alias("chunk"),
+    col("ner_chunk.metadata").getItem("entity").alias("ner_label")
+).show(truncate=False)
+''', language="python")
+
+st.text("""
++------------------------+---------+
+|chunk                   |ner_label|
++------------------------+---------+
+|Danish                  |MISC     |
+|Lars Andersen           |PER      |
+|København               |LOC      |
+|Vesterbro               |LOC      |
+|Lars                    |PER      |
+|Frederiksberg Have      |LOC      |
+|Statens Museum for Kunst|ORG      |
+|FC København            |ORG      |
+|Brøndby IF              |ORG      |
+|Bokmål                  |MISC     |
+|Norwegian               |MISC     |
+|Anna Johansen           |PER      |
+|Oslo                    |LOC      |
+|Anna                    |PER      |
+|Nasjonalmuseet          |ORG      |
+|Nynorsk                 |MISC     |
+|Norwegian               |ORG      |
+|Martin Berg             |PER      |
+|Bergen                  |LOC      |
+|Martin                  |PER      |
++------------------------+---------+
+""")
+
+# Available Models in Spark NLP
+st.markdown('<div class="sub-title">Available Models in Spark NLP</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>Spark NLP provides a variety of pre-trained models for different NLP tasks. These models are designed to be used out-of-the-box and cover a wide range of applications, including NER, sentiment analysis, text classification, and more. You can explore and choose from the available models at the <a href="https://sparknlp.org/models" target="_blank" class="link">Spark NLP Models Hub</a>.</p>
+</div>
+""", unsafe_allow_html=True)
+
+# Benchmark Section
+st.markdown('<div class="sub-title">Benchmark</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>Evaluating the performance of NER models is crucial to understanding their effectiveness in real-world applications. Below are the benchmark results for the "bert_token_classifier_scandi_ner" model on 6 Scandinavian languages, focusing on various named entity categories. The metrics used include precision, recall, and F1-score, which are standard for evaluating classification models.</p>
+</div>
+""", unsafe_allow_html=True)
+st.markdown("""
+---
+#### Classification Report
+
+| Language   | F1 Score |
+|------------|----------|
+| Danish     | 0.8744   |
+| Bokmål     | 0.9106   |
+| Nynorsk    | 0.9042   |
+| Swedish    | 0.8837   |
+| Icelandic  | 0.8861   |
+| Faroese    | 0.9022   |
+
+---
+""", unsafe_allow_html=True)
+
+# Summary
+st.markdown('<div class="sub-title">Summary</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>In this article, we discussed named entity recognition using a deep learning-based method with the "bert_token_classifier_scandi_ner" model for Scandinavian languages. We introduced how to perform the task using the open-source Spark NLP library with Python, which can be used at scale in the Spark ecosystem. These methods can be used for natural language processing applications in various fields, including finance and healthcare.</p>
+</div>
+""", unsafe_allow_html=True)
+
+# References
+st.markdown('<div class="sub-title">References</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <ul>
+        <li><a class="link" href="https://sparknlp.org/api/python/reference/autosummary/sparknlp/annotator/classifier_dl/bert_for_token_classification/index.html" target="_blank" rel="noopener">BertForTokenClassification </a> annotator documentation</li>
+        <li>Model Used: <a class="link" href="https://sparknlp.org/2021/12/09/bert_token_classifier_scandi_ner_xx.html" target="_blank" rel="noopener">bert_token_classifier_scandi_ner</a></li>
+        <li><a class="link" href="https://nlp.johnsnowlabs.com/recognize_entitie" target="_blank" rel="noopener">Visualization demos for NER in Spark NLP</a></li>
+        <li><a class="link" href="https://www.johnsnowlabs.com/named-entity-recognition-ner-with-bert-in-spark-nlp/">Named Entity Recognition (NER) with BERT in Spark NLP</a></li>
+    </ul>
+</div>
+""", unsafe_allow_html=True)
+
+# Community & Support
+st.markdown('<div class="sub-title">Community & Support</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <ul>
+        <li><a class="link" href="https://sparknlp.org/" target="_blank">Official Website</a>: Documentation and examples</li>
+        <li><a class="link" href="https://github.com/JohnSnowLabs/spark-nlp" target="_blank">GitHub Repository</a>: Report issues or contribute</li>
+        <li><a class="link" href="https://forum.johnsnowlabs.com/" target="_blank">Community Forum</a>: Ask questions, share ideas, and get support</li>
+    </ul>
+</div>
+""", unsafe_allow_html=True)

requirements.txt

@@ -0,0 +1,6 @@
+streamlit
+st-annotated-text
+pandas
+numpy
+spark-nlp
+pyspark