Upload 18 files

.streamlit/config.toml

@@ -0,0 +1,3 @@
+[theme]
+base="light"
+primaryColor="#29B4E8"

Demo.py

@@ -0,0 +1,132 @@
+import streamlit as st
+import sparknlp
+import os
+import pandas as pd
+
+from sparknlp.base import *
+from sparknlp.annotator import *
+from pyspark.ml import Pipeline
+from sparknlp.pretrained import PretrainedPipeline
+
+# Page configuration
+st.set_page_config(
+    layout="wide",  
+    initial_sidebar_state="auto"
+)
+
+# CSS for styling
+st.markdown("""
+    <style>
+        .main-title {
+            font-size: 36px;
+            color: #4A90E2;
+            font-weight: bold;
+            text-align: center;
+        }
+        .section p, .section ul {
+            color: #666666;
+        }
+    </style>
+""", unsafe_allow_html=True)
+
+@st.cache_resource
+def init_spark():
+    return sparknlp.start()
+
+@st.cache_resource
+def create_pipeline(model):
+  document_assembler = DocumentAssembler()\
+      .setInputCol("text")\
+      .setOutputCol("document")
+
+  sentence_detector = SentenceDetector() \
+      .setInputCols(["document"]) \
+      .setOutputCol("sentence")
+
+  tokenizer = Tokenizer() \
+      .setInputCols(["sentence"]) \
+      .setOutputCol("token")
+
+  word_embeddings = WordEmbeddingsModel()\
+      .pretrained('urduvec_140M_300d', 'ur')\
+      .setInputCols(["sentence",'token'])\
+      .setOutputCol("word_embeddings")
+
+  sentence_embeddings = SentenceEmbeddings() \
+      .setInputCols(["sentence", "word_embeddings"]) \
+      .setOutputCol("sentence_embeddings") \
+      .setPoolingStrategy("AVERAGE")
+
+  classifier = SentimentDLModel.pretrained('sentimentdl_urduvec_imdb', 'ur' )\
+      .setInputCols(['sentence_embeddings'])\
+      .setOutputCol('sentiment')
+
+  nlpPipeline = Pipeline(
+      stages=[ 
+          document_assembler,
+          sentence_detector, 
+          tokenizer,
+          word_embeddings,
+          sentence_embeddings,
+          classifier ])
+  
+  return nlpPipeline
+
+def fit_data(pipeline, data):
+    empty_df = spark.createDataFrame([['']]).toDF('text')
+    pipeline_model = pipeline.fit(empty_df)
+    model = LightPipeline(pipeline_model)
+    results = model.fullAnnotate(data)[0]
+
+    return results['sentiment'][0].result
+
+# Set up the page layout
+st.markdown('<div class="main-title">State-of-the-Art Urdu Sentiment Detection with Spark NLP</div>', unsafe_allow_html=True)
+
+# Sidebar content
+model = st.sidebar.selectbox(
+    "Choose the pretrained model",
+    ["sentimentdl_urduvec_imdb"],
+    help="For more info about the models visit: https://sparknlp.org/models"
+)
+
+# Reference notebook link in sidebar
+link = """
+<a href="https://colab.research.google.com/github/JohnSnowLabs/spark-nlp-workshop/blob/master/tutorials/streamlit_notebooks/public/SENTIMENT_UR.ipynb">
+    <img src="https://colab.research.google.com/assets/colab-badge.svg" style="zoom: 1.3" alt="Open In Colab"/>
+</a>
+"""
+st.sidebar.markdown('Reference notebook:')
+st.sidebar.markdown(link, unsafe_allow_html=True)
+
+# Load examples
+folder_path = f"inputs/{model}"
+examples = [
+    lines[1].strip() 
+    for filename in os.listdir(folder_path) 
+    if filename.endswith('.txt') 
+    for lines in [open(os.path.join(folder_path, filename), 'r', encoding='utf-8').readlines()] 
+    if len(lines) >= 2
+]
+
+selected_text = st.selectbox("Select a sample", examples)
+custom_input = st.text_input("Try it for yourself!")
+
+if custom_input:
+    selected_text = custom_input
+elif selected_text:
+    selected_text = selected_text
+
+st.subheader('Selected Text')
+st.write(selected_text)
+
+# Initialize Spark and create pipeline
+spark = init_spark()
+pipeline = create_pipeline(model)
+output = fit_data(pipeline, selected_text)
+
+# Display output sentence
+if output.lower() in ['pos', 'positive']:
+  st.markdown("""<h3>This seems like a <span style="color: green">{}</span> text. <span style="font-size:35px;">&#128515;</span></h3>""".format('positive'), unsafe_allow_html=True)
+elif output.lower() in ['neg', 'negative']:
+  st.markdown("""<h3>This seems like a <span style="color: red">{}</span> text. <span style="font-size:35px;">&#128544;</span?</h3>""".format('negative'), unsafe_allow_html=True)

Dockerfile

@@ -0,0 +1,70 @@
+# Download base image ubuntu 18.04
+FROM ubuntu:18.04
+
+# Set environment variables
+ENV NB_USER jovyan
+ENV NB_UID 1000
+ENV HOME /home/${NB_USER}
+
+# Install required packages
+RUN apt-get update && apt-get install -y \
+    tar \
+    wget \
+    bash \
+    rsync \
+    gcc \
+    libfreetype6-dev \
+    libhdf5-serial-dev \
+    libpng-dev \
+    libzmq3-dev \
+    python3 \
+    python3-dev \
+    python3-pip \
+    unzip \
+    pkg-config \
+    software-properties-common \
+    graphviz \
+    openjdk-8-jdk \
+    ant \
+    ca-certificates-java \
+    && apt-get clean \
+    && update-ca-certificates -f;
+
+# Install Python 3.8 and pip
+RUN add-apt-repository ppa:deadsnakes/ppa \
+    && apt-get update \
+    && apt-get install -y python3.8 python3-pip \
+    && apt-get clean;
+
+# Set up JAVA_HOME
+ENV JAVA_HOME /usr/lib/jvm/java-8-openjdk-amd64/
+RUN mkdir -p ${HOME} \
+    && echo "export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/" >> ${HOME}/.bashrc \
+    && chown -R ${NB_UID}:${NB_UID} ${HOME}
+
+# Create a new user named "jovyan" with user ID 1000
+RUN useradd -m -u ${NB_UID} ${NB_USER}
+
+# Switch to the "jovyan" user
+USER ${NB_USER}
+
+# Set home and path variables for the user
+ENV HOME=/home/${NB_USER} \
+    PATH=/home/${NB_USER}/.local/bin:$PATH
+
+# Set the working directory to the user's home directory
+WORKDIR ${HOME}
+
+# Upgrade pip and install Python dependencies
+RUN python3.8 -m pip install --upgrade pip
+COPY requirements.txt /tmp/requirements.txt
+RUN python3.8 -m pip install -r /tmp/requirements.txt
+
+# Copy the application code into the container at /home/jovyan
+COPY --chown=${NB_USER}:${NB_USER} . ${HOME}
+
+# Expose port for Streamlit
+EXPOSE 7860
+
+# Define the entry point for the container
+ENTRYPOINT ["streamlit", "run", "Demo.py", "--server.port=7860", "--server.address=0.0.0.0"]

inputs/sentimentdl_urduvec_imdb/Example1.txt

@@ -0,0 +1,3 @@
+Example 1
+    یہ کردار زندہ دل اور دلچسپ تھے ، پلاٹ بہترین طور پر چل رہا تھا ، پائرو اثرات کو مہارت کے ساتھ انجام دیا گیا تھا ، اور اس میں ایک بنیادی محبت کی مثلث کی کہانی لی گئی ہے اور اس میں سائنس فکشن عنصر کو پھینک دیا گیا ہے۔ میں بہت سارے کرداروں کے ساتھ ان کی نشاندہی کرسکتا تھا اور ان کے محرکات نے کہانی کے فریم ورک میں منطقی عقلی احساس پیدا کیا تھا۔ کیمرا کام بہت اچھا تھا ، آڈیو واضح اور درست تھا ، بیک گراؤنڈ میوزک کو اثر انداز کے لئے منتخب کیا گیا تھا ، گانے والے فائر مین ایک اچھے باصلاحیت یادگار تھے۔ عجیب کیفیت ، سیٹوں نے بہت عمدہ تیار کیا ، اور ہنر مند ہنر کے ساتھ انجام دیئے گئے خاص اثرات۔ میں حیرت زدہ ہوں کہ کس طرح چین اسٹور کی پارکنگ میں پوری منی کارنیوال کو ایک ہی لیمپپوسٹ آؤٹ لیٹ کے ذریعہ تقویت مل سکتی ہے۔ کم سے کم کہنا ناممکن لگتا ہے۔ فلم کے اختتام کے قریب بھائیوں کے مابین لڑائی شاندار تھی۔ جم ورنی کو غیر جوکر والے کردار میں رکھنا بھی ایک حیرت انگیز ٹچ تھا کیونکہ اس نے ایک کارنی کا نیم سنجیدہ کردار بہت عمدہ ادا کیا تھا۔
+    

inputs/sentimentdl_urduvec_imdb/Example10.txt

@@ -0,0 +1,3 @@
+Example 10
+    میں اسٹورٹ بلیس کو اب تک کی بدترین فلم سمجھتا ہوں۔ اداکاری خوفناک تھی اور سازش مضحکہ خیز تھی۔ مجھے یہ حقیقت ملتی ہے کہ مرکزی کردار کی بیوی نے اسے چھوڑ کر ذہنی خرابی پھیلادی ، لیکن یہ اتنے بے وقوف اور غضبناک ہوگیا ، تھوڑی دیر کے بعد میں کسی بھی کردار کے بارے میں کم خیال رکھ سکتی تھی۔ فلم ایک ہی خیال کے بغیر کسی چیز کے آگے بڑھتی چلی جاتی ہے۔ پلاٹ میں شامل کرنے کے لئے تازہ یا حیرت انگیز. جیگر کاؤنٹر کے ساتھ پوری چیز بہت زیادہ ہوگئی جب اسٹورٹ نے اپنی دیوار کھولنا شروع کیا تو یہ دیکھنے کے لئے کہ کاؤنٹر کے پاس کچھ ہے اس کے اشارے کے بعد اس کے پیچھے کیا ہے۔ پھر اس طیارے کے ساتھ بار بار مناظر دیکھنے کو ملے ، اور وہ پریشان کن خود سے ملتا ہے۔ مجھے اندازہ کرنا چاہئے تھا کہ جب میں کسی اداکار کو نہیں پہچانتی ہوں تو یہ فلم فلاپ تھی۔ جب یہ فلم آتی ہے تو اپنے آپ پر احسان کریں ، کتاب پڑھیں! آپ بہتر ہوں گے۔
+    

inputs/sentimentdl_urduvec_imdb/Example2.txt

@@ -0,0 +1,3 @@
+Example 2
+چونکہ میں نے 80 کی دہائی میں انسپکٹر گیجٹ کارٹون کو پسند کیا تھا ، لہذا میں اس فلم کو دیکھنے گیا۔ میں نے اپنا پیسہ ضائع کیا۔ پلاٹ بہت پتلا تھا۔ نیز ، فلم مجھے زیادہ دن دلچسپی نہیں بنا سکی۔ مجھے خوشی ہوئی کہ یہ ختم ہوچکا ہے۔ اگر آپ انسپکٹر گیجٹ دیکھنا چاہتے ہیں تو ، اس کے بجائے کارٹون دیکھیں۔ یہ فلم سے کہیں بہتر تھا۔
+    

inputs/sentimentdl_urduvec_imdb/Example3.txt

@@ -0,0 +1,3 @@
+Example 3
+جان لیگوزامو ایک بہترین مزاح نگار اور کہانی سنانے والا ہے۔ ہر بار جب یہ HBO پر ہوتا ہے تو مجھے اسے روکنا پڑتا ہے۔ جان یہ کہانی سناتا ہے کہ وہ کیسے بڑا ہوا (شاید کچھ حقیقت اور افسانہ) اور درمیان میں مزاحیہ کہانیاں شامل کرتا ہے۔ اگر آپ جان کی کامیڈی پسند کرتے ہیں تو مجھے کہنا پڑے گا یہ ان کی بہترین کامیڈی ہے۔
+    

inputs/sentimentdl_urduvec_imdb/Example4.txt

@@ -0,0 +1,3 @@
+Example 4
+    یہ بہت سی بی مائنس فلموں میں سے ایک اور ہے جسے فلمی شور کے طور پر ٹیگ کیا گیا ہے تاکہ کسی ایسی چیز میں دلچسپی پیدا کی جاسکے جو اس سے عاری ہو۔ فلم کے تمام پہلوؤں - اسکرپٹ ، اداکاری ، ہدایت نامہ معمولی ہیں۔ تینوں لیڈز کے ذریعہ اداکاری لکڑی کی ہے۔ میرا اندازہ ہے کہ جان ڈال سے توقع کی جا رہی تھی کہ وہ فلمی کاروبار میں جگہ لے جائیں گے لیکن پھر کسی کو احساس ہوا کہ اس میں بہت کم صلاحیت ہے اور اسی وجہ سے وہ ٹی وی کا کام کرنا چھوڑ گیا۔ لی جے کوب جو عام طور پر لاجواب ہوتا ہے وہ خراب اسکرپٹ اور خراب سمت سے اوپر نہیں بڑھ سکتا۔ سمجھا جاتا ہے کہ جین وایاٹ ایک غیر معمولی فیتال ہے لیکن دیکھنے والوں کو راضی کرنے کے قریب کہیں نہیں آتا ہے۔ فلم میں حیرت انگیز نظر آنے والی دو کاریں ہیں جو میں نے کبھی نہیں دیکھی ہیں ، اس میں جان ڈال لی جے کوب کے بعد چل رہی ہے خاص طور پر حیرت انگیز ہے۔ ڈی وی ڈی کی منتقلی عام الفا ہے۔
+    

inputs/sentimentdl_urduvec_imdb/Example5.txt

@@ -0,0 +1,3 @@
+Example 5
+    اس فلم کی تشہیر مزاح کے طور پر کی گئی تھی لیکن اس سے کہیں زیادہ سنجیدہ تھی جیسے ٹریلرز نے اسے تیار کیا تھا۔ مجھے غلط مت سمجھو ، میں نے فلم کا لطف اٹھایا ، لیکن زیادہ ہنسنے کی امید کر رہا تھا۔ رابن ولیمز اور لورا لننی کی عمدہ پرفارمنس۔ دیکھنے کے قابل ہے ، لیکن فرش پر رولنگ ہونے کی توقع نہ کریں۔ فلم نے مجھے یہ سوچ کر چھوڑ دیا کہ یہ کیا ہوگا اگر رابن ولیمز کا کردار ایک حقیقی شخص ہوتا جو صدر کے لئے انتخاب لڑ رہا تھا۔ کیا ہم ایک مزاح نگار کو منتخب کریں گے؟ مجھے شک ہے ، بدقسمتی سے۔ آج کل اس طرح کی پوری ایمانداری سے بہت زیادہ کمی ہے۔ یہ ایک ایسی فلم ہے جسے میں DVD پر آتے ہی اپنی ڈی وی ڈی لائبریری میں شامل کردوں گا۔ فلم میں دل ہے۔
+    

inputs/sentimentdl_urduvec_imdb/Example6.txt

@@ -0,0 +1,3 @@
+Example 6
+    اتنا اچھا عمل نہیں سنسنی خیز فلم ہے کیونکہ یہ اسی پانی کو ابتدائی اسٹیون سیگل فلموں کی طرح ناکام بنا دیتا ہے کیونکہ وہاں بہت اچھا سیٹ نہیں ہوتا ہے۔ اسٹیون سیگل اسی طرح کے کردار نبھا رہے ہیں جو انہوں نے قانون کے اوپر سے ادا کیا ہے۔ میری رائے میں کیینن آئیوری وینس کی پرفارمنس ایسی اوسط فلم میں ضائع ہوتی ہے اور اس کا تعلق زیادہ بہتر فلم میں ہے۔ باب گونٹن بطور خاص بھاری ہے۔ پوری فلم میں بہترین اداکاری برائن کاکس کی ہے جو قاتل کے کردار میں بہت ڈراؤنا ہے۔ میرے پسندیدہ مناظر روسی مافیا کے ساتھ لڑائی کے مناظر ہیں۔ گلیمر مین (1996) کو دیکھنے کی فلم کی ایک وجہ خوبصورت اور والپٹ اپس نکی کاکس کے مختصر نمائش کے لئے ہے۔ یہ بہت خراب ہے کہ ان کے ساتھ اس کے ساتھ زیادہ مناظر نہیں تھے۔
+    

inputs/sentimentdl_urduvec_imdb/Example7.txt

@@ -0,0 +1,3 @@
+Example 7
+    نیکسٹ ایکشن اسٹار ریلیٹی ٹی وی سیریز دیکھنے کے بعد ، فاتحین کی فلم دیکھ کر مجھے بہت خوشی ہوئی۔ میں اس طرح کی نئی صلاحیتوں کی نمائش کرنے کا کام کررہا تھا ، لیکن مجھے خوشگوار حیرت اور حیرت ہوئی۔ بلی زین ، یقینا، ، اس کا معمول کا بڑا نفس تھا ، لیکن کورین اور شان نے اپنے ساتھ اپنے پاس رکھا۔ جریڈ اور جین (مقابلہ سے بھی) کو اپنے کرداروں میں دیکھ کر اچھا لگا۔ شان کا کردار ، بلی کا نہیں ، بلکہ شکار کیا گیا ہے ، اور اس کھیل میں نئے قواعد دریافت کرنے پر اس کی مایوسی اچھی طرح سے ادا کی گئی ہے۔ کورین اپنے کردار کی طرح شان کو پسند کرتی ہے اور صرف اس میں پیسوں کے ل being رہ رہی ہے۔ مجھے اچھا لگا کہ کھیل آخری سیکنڈ تک کس طرح کھیلا گیا۔ اور پھر اس سے آگے! ایک زبردست مووی نہیں ، بلکہ پوری طرح سے ایک دل لگی اور گیٹ سے باہر پہلی بار دو لوگوں کے لئے ایک عمدہ شوکیس۔
+    

inputs/sentimentdl_urduvec_imdb/Example8.txt

@@ -0,0 +1,3 @@
+Example 8
+    یہ مایوس کن فلم تھی۔ ایسا لگتا ہے کہ لوگوں کے پاس کوئی مادہ نہیں ہے ، مرکزی کردارنما مارٹن کاہل صفر سے چھٹکارا پانے والی اقدار کے حامل ہیں ، در حقیقت ، جون واوائٹ سمیت اس میں موجود ہر شخص آستین کی علامت ہے۔ میں کسی کو بھی اس فلم کی سفارش نہیں کروں گا۔ یہ تشدد قابل نفرت ہے ، حالانکہ یہ فن پارے سے کیا گیا ہے۔ فلم بندی کا رنگ سیاہ ہونا ہے ، کم از کم میں نے اس زمرے کے مطابق جو پرنٹ دیکھا تھا۔ ایک مایوسی۔
+    

inputs/sentimentdl_urduvec_imdb/Example9.txt

@@ -0,0 +1,3 @@
+Example 9
+    جب میں نے اس فلم کو کرائے پر لیا تھا تو میں پوری طرح کی توقع نہیں کر رہا تھا ، کیونکہ ان دنوں بہت سی آزاد فلمیں تھوڑی بہت زیادہ نظر آتی ہیں (ٹھیک ہے ، اس معاملے کے لئے ہالی ووڈ کی فلمیں بھی) لیکن یہ فلم لاجواب ، واقعی بہت اچھی تھی ، یہ بہت خراب ہے یہ ایک بہت بڑا سامعین تک نہیں پہنچا کیونکہ یہ صرف بہت عمدہ ہے۔ میں واقعی میں ایلس کے عزم کو پسند کرتا ہوں ، یہ واقعی مجھے اپنی زندگی کو ایک تحفہ کے طور پر دیکھنے پر مجبور کرتا ہے ، اور میں دیکھتا ہوں کہ مجھے صرف ایک تعلیم حاصل کرنے کا موقع ملا ہے۔ لیکن ان سب کو چھوڑ کر ، یہ فلم واقعی یہ ثابت کرتی ہے کہ اچھے فنکار اچھی کہانی سنانے کا اعزاز دے سکتے ہیں ، بجٹ کچھ بھی نہیں ہو ، یہ ایک بہترین فلم ہے اور ہر ایک کو اسے دیکھنا چاہئے ، وہ اسے پسند کریں گے اور یقینا اس سے کچھ سیکھیں گے۔ مجھے یہ جاننے کے لئے راجر ایبرٹ ہونے کی ضرورت نہیں ہے کہ میں نے ایک بہترین فلموں میں سے ایک دیکھا ہے جو میں نے سارا سال دیکھا ہے ، اور یقینا. سب سے زیادہ سچائی میں سے ایک ہے۔
+    

pages/Workflow & Model Overview.py

@@ -0,0 +1,237 @@
+import streamlit as st
+
+# Custom CSS for better styling
+st.markdown("""
+    <style>
+        .main-title {
+            font-size: 36px;
+            color: #4A90E2;
+            font-weight: bold;
+            text-align: center;
+        }
+        .sub-title {
+            font-size: 24px;
+            color: #4A90E2;
+            margin-top: 20px;
+        }
+        .section {
+            background-color: #f9f9f9;
+            padding: 15px;
+            border-radius: 10px;
+            margin-top: 20px;
+        }
+        .section h2 {
+            font-size: 22px;
+            color: #4A90E2;
+        }
+        .section p, .section ul {
+            color: #666666;
+        }
+        .link {
+            color: #4A90E2;
+            text-decoration: none;
+        }
+    </style>
+""", unsafe_allow_html=True)
+
+# Introduction
+st.markdown('<div class="main-title">Sentiment Analysis with Spark NLP</div>', unsafe_allow_html=True)
+
+st.markdown("""
+<div class="section">
+    <p>Welcome to the Spark NLP Sentiment Analysis Demo App! Sentiment analysis is an automated process capable of understanding the feelings or opinions that underlie a text. This process is considered a text classification and is one of the most interesting subfields of NLP. Using Spark NLP, it is possible to analyze the sentiment in a text with high accuracy.</p>
+    <p>This app demonstrates how to use Spark NLP's SentimentDetector to perform sentiment analysis using a rule-based approach.</p>
+</div>
+""", unsafe_allow_html=True)
+
+st.image('images/Sentiment-Analysis.jpg',caption="Difference between rule-based and machine learning based sentiment analysis applications", use_column_width='auto')
+
+# About Sentiment Analysis
+st.markdown('<div class="sub-title">About Sentiment Analysis</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>Sentiment analysis studies the subjective information in an expression, such as opinions, appraisals, emotions, or attitudes towards a topic, person, or entity. Expressions can be classified as positive, negative, or neutral — in some cases, even more detailed.</p>
+    <p>Some popular sentiment analysis applications include social media monitoring, customer support management, and analyzing customer feedback.</p>
+</div>
+""", unsafe_allow_html=True)
+
+# Using SentimentDetector in Spark NLP
+st.markdown('<div class="sub-title">Using SentimentDetector in Spark NLP</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>The SentimentDetector annotator in Spark NLP uses a rule-based approach to analyze the sentiment in text data. This method involves using a set of predefined rules or patterns to classify text as positive, negative, or neutral.</p>
+    <p>Spark NLP also provides Machine Learning (ML) and Deep Learning (DL) solutions for sentiment analysis. If you are interested in those approaches, please check the <a class="link" href="https://nlp.johnsnowlabs.com/docs/en/annotators#viveknsentiment" target="_blank" rel="noopener">ViveknSentiment </a> and <a class="link" href="https://nlp.johnsnowlabs.com/docs/en/annotators#sentimentdl" target="_blank" rel="noopener">SentimentDL</a> annotators of Spark NLP.</p>
+</div>
+""", unsafe_allow_html=True)
+
+st.markdown('<h2 class="sub-title">Example Usage in Python</h2>', unsafe_allow_html=True)
+st.markdown('<p>Here’s how you can implement sentiment analysis using the SentimentDetector annotator in Spark NLP:</p>', unsafe_allow_html=True)
+
+# Setup Instructions
+st.markdown('<div class="sub-title">Setup</div>', unsafe_allow_html=True)
+st.markdown('<p>To install Spark NLP in Python, use your favorite package manager (conda, pip, etc.). For example:</p>', unsafe_allow_html=True)
+st.code("""
+pip install spark-nlp
+pip install pyspark
+""", language="bash")
+
+st.markdown("<p>Then, import Spark NLP and start a Spark session:</p>", unsafe_allow_html=True)
+st.code("""
+import sparknlp
+
+# Start Spark Session
+spark = sparknlp.start()
+""", language='python')
+
+# load data
+st.markdown('<div class="sub-title">Start by loading the Dataset, Lemmas and the Sentiment Dictionary.</div>', unsafe_allow_html=True)
+st.code("""
+!wget -N https://s3.amazonaws.com/auxdata.johnsnowlabs.com/public/resources/en/lemma-corpus-small/lemmas_small.txt -P /tmp
+!wget -N https://s3.amazonaws.com/auxdata.johnsnowlabs.com/public/resources/en/sentiment-corpus/default-sentiment-dict.txt -P /tmp
+""", language="bash")
+
+st.image('images/dataset.png', caption="First few lines of the lemmas and sentiment dictionary", use_column_width='auto')
+
+# Sentiment Analysis Example
+st.markdown('<div class="sub-title">Example Usage: Sentiment Analysis with SentimentDetector</div>', unsafe_allow_html=True)
+st.code('''
+from sparknlp.base import DocumentAssembler, Pipeline, Finisher
+from sparknlp.annotator import (
+    SentenceDetector,
+    Tokenizer,
+    Lemmatizer,
+    SentimentDetector
+)
+import pyspark.sql.functions as F
+
+# Step 1: Transforms raw texts to document annotation
+document_assembler = (
+    DocumentAssembler()
+    .setInputCol("text")
+    .setOutputCol("document")
+)
+
+# Step 2: Sentence Detection
+sentence_detector = SentenceDetector().setInputCols(["document"]).setOutputCol("sentence")
+
+# Step 3: Tokenization
+tokenizer = Tokenizer().setInputCols(["sentence"]).setOutputCol("token")
+
+# Step 4: Lemmatization
+lemmatizer = (
+    Lemmatizer()
+    .setInputCols("token")
+    .setOutputCol("lemma")
+    .setDictionary("/tmp/lemmas_small.txt", key_delimiter="->", value_delimiter="\\t")
+)
+
+# Step 5: Sentiment Detection
+sentiment_detector = (
+    SentimentDetector()
+    .setInputCols(["lemma", "sentence"])
+    .setOutputCol("sentiment_score")
+    .setDictionary("/tmp/default-sentiment-dict.txt", ",")
+)
+
+# Step 6: Finisher
+finisher = (
+    Finisher()
+    .setInputCols(["sentiment_score"])
+    .setOutputCols(["sentiment"])
+)
+
+# Define the pipeline
+pipeline = Pipeline(
+    stages=[
+        document_assembler,
+        sentence_detector,
+        tokenizer,
+        lemmatizer,
+        sentiment_detector,
+        finisher,
+    ]
+)
+
+# Create a spark Data Frame with an example sentence
+data = spark.createDataFrame(
+    [
+        ["The restaurant staff is really nice"]
+    ]
+).toDF("text")  # use the column name `text` defined in the pipeline as input
+
+# Fit-transform to get predictions
+result = pipeline.fit(data).transform(data).show(truncate=50)
+''', language='python')
+
+st.text("""
++-----------------------------------+----------+
+|                               text| sentiment|
++-----------------------------------+----------+
+|The restaurant staff is really nice|[positive]|
++-----------------------------------+----------+
+""")
+
+st.markdown("""
+<p>The code snippet demonstrates how to set up a pipeline in Spark NLP to perform sentiment analysis on text data using the SentimentDetector annotator. The resulting DataFrame contains the sentiment predictions.</p>
+""", unsafe_allow_html=True)
+
+# One-liner Alternative
+st.markdown('<div class="sub-title">One-liner Alternative</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>In October 2022, John Snow Labs released the open-source <code>johnsnowlabs</code> library that contains all the company products, open-source and licensed, under one common library. This simplified the workflow, especially for users working with more than one of the libraries (e.g., Spark NLP + Healthcare NLP). This new library is a wrapper on all of John Snow Lab’s libraries and can be installed with pip:</p>
+    <p><code>pip install johnsnowlabs</code></p>
+</div>
+""", unsafe_allow_html=True)
+
+st.markdown('<p>To run sentiment analysis with one line of code, we can simply:</p>', unsafe_allow_html=True)
+st.code("""
+# Import the NLP module which contains Spark NLP and NLU libraries
+from johnsnowlabs import nlp
+
+sample_text = "The restaurant staff is really nice"
+
+# Returns a pandas DataFrame, we select the desired columns
+nlp.load('en.sentiment').predict(sample_text, output_level='sentence')
+""", language='python')
+
+st.image('images/johnsnowlabs-sentiment-output.png', use_column_width='auto')
+
+st.markdown("""
+<p>This approach demonstrates how to use the <code>johnsnowlabs</code> library to perform sentiment analysis with a single line of code. The resulting DataFrame contains the sentiment predictions.</p>
+""", unsafe_allow_html=True)
+
+# Conclusion
+st.markdown("""
+<div class="section">
+    <h2>Conclusion</h2>
+    <p>In this app, we demonstrated how to use Spark NLP's SentimentDetector annotator to perform sentiment analysis on text data. These powerful tools enable users to efficiently process large datasets and identify sentiment, providing deeper insights for various applications. By integrating these annotators into your NLP pipelines, you can enhance text understanding, information extraction, and customer sentiment analysis.</p>
+</div>
+""", unsafe_allow_html=True)
+
+# References and Additional Information
+st.markdown('<div class="sub-title">For additional information, please check the following references.</div>', unsafe_allow_html=True)
+
+st.markdown("""
+<div class="section">
+        <ul>
+            <li>Documentation :&nbsp;<a href="https://nlp.johnsnowlabs.com/docs/en/transformers#sentiment" target="_blank" rel="noopener">SentimentDetector</a></li>
+            <li>Python Docs :&nbsp;<a href="https://nlp.johnsnowlabs.com/api/python/reference/autosummary/sparknlp/annotator/sentiment/index.html#sparknlp.annotator.sentiment.SentimentDetector" target="_blank" rel="noopener">SentimentDetector</a></li>
+            <li>Scala Docs :&nbsp;<a href="https://nlp.johnsnowlabs.com/api/com/johnsnowlabs/nlp/annotators/sentiment/SentimentDetector.html" target="_blank" rel="noopener">SentimentDetector</a></li>
+            <li>Example Notebook :&nbsp;<a href="https://github.com/JohnSnowLabs/spark-nlp-workshop/blob/master/jupyter/training/english/classification/Sentiment%20Analysis.ipynb" target="_blank" rel="noopener">Sentiment Analysis</a></li>
+        </ul>
+    </div>
+""", unsafe_allow_html=True)
+
+st.markdown('<div class="sub-title">Community & Support</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <ul>
+        <li><a class="link" href="https://sparknlp.org/" target="_blank">Official Website</a>: Documentation and examples</li>
+        <li><a class="link" href="https://join.slack.com/t/spark-nlp/shared_invite/zt-198dipu77-L3UWNe_AJ8xqDk0ivmih5Q" target="_blank">Slack</a>: Live discussion with the community and team</li>
+        <li><a class="link" href="https://github.com/JohnSnowLabs/spark-nlp" target="_blank">GitHub</a>: Bug reports, feature requests, and contributions</li>
+        <li><a class="link" href="https://medium.com/spark-nlp" target="_blank">Medium</a>: Spark NLP articles</li>
+        <li><a class="link" href="https://www.youtube.com/channel/UCmFOjlpYEhxf_wJUDuz6xxQ/videos" target="_blank">YouTube</a>: Video tutorials</li>
+    </ul>
+</div>
+""", unsafe_allow_html=True)

requirements.txt

@@ -0,0 +1,5 @@
+streamlit
+pandas
+numpy
+spark-nlp
+pyspark