Duplicate from dafqi/indo_twitter_sentiment_app

Co-authored-by: dafqii <[email protected]>

.gitattributes

@@ -0,0 +1,34 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,18 @@
+---
+title: Indo Twitter Sentiment App
+emoji: 👀
+colorFrom: green
+colorTo: yellow
+sdk: streamlit
+sdk_version: 1.15.2
+app_file: app.py
+pinned: false
+duplicated_from: dafqi/indo_twitter_sentiment_app
+---
+
+# twitter sentiment app
+
+Aplikasi sederhana untuk melakukan analisis sentimen terhadap tweet yang diinputkan dan mengekstrak topik dari setiap sentimen 
+
+link website : https://dafiqrahman-twitter-sentiment-app-app-shcgk3.streamlit.app/
+

app.py

@@ -0,0 +1,139 @@
+import streamlit as st
+
+import streamlit as st 
+import pandas as pd
+import script.functions as fn
+import plotly.express as px
+import matplotlib.pyplot as plt
+# import text_proc in script folder
+import script.text_proc as tp
+from sentence_transformers import SentenceTransformer
+
+
+st.set_page_config(
+    page_title="twitter sentiment analysis",
+    page_icon="👋",
+)
+
+st.sidebar.markdown("📚 Twitter Sentiment Analysis App")
+
+# Load data
+# add tiwtter logo inside title 
+st.markdown("<h1 style='text-align: center;'>📚 Twitter Sentiment Analysis App</h1>", unsafe_allow_html=True)
+st.write("Aplikasi sederhana untuk melakukan analisis sentimen terhadap tweet yang diinputkan dan mengekstrak topik dari setiap sentimen.")
+# streamlit selectbox simple and advanced
+
+sb1,sb2 = st.columns([2,4])
+with sb1:
+    option = st.selectbox('Pilih Mode Pencarian',('Simple','Advanced'))
+with sb2:
+    option_model = st.selectbox('Pilih Model',("IndoBERT (Accurate,Slow)",'Naive Bayes','Logistic Regression (Less Accurate,Fast)','XGBoost','Catboost','SVM','Random Forest'))
+
+if option == 'Simple':
+# create col1 and col2
+    col1, col2 = st.columns([3,2])
+    with col1:
+        input = st.text_input("Masukkan User/Hastag", "@traveloka")
+    with col2:
+        length = st.number_input("Jumlah Tweet", 10, 500, 100)
+else :
+    col1, col2 = st.columns([3,1])
+    with col1:
+        input = st.text_input("Masukkan Parameter Pencarian", "(to:@traveloka AND @traveloka) -filter:links filter:replies lang:id")
+    with col2:
+        length = st.number_input("Jumlah Tweet", 10, 500, 100)
+    st.caption("anda bisa menggunakan parameter pencarian yang lebih spesifik, parameter ini sama dengan paremeter pencarian di twitter")
+
+submit = st.button("🔍Cari Tweet")
+
+st.caption("semakin banyak tweet yang diambil maka semakin lama proses analisis sentimen")
+
+if submit:
+    with st.spinner('Mengambil data dari twitter... (1/2)'):
+        df = fn.get_tweets(input, length, option)
+    with st.spinner('Melakukan Prediksi Sentimen... (2/2)'):
+        df = fn.get_sentiment(df,option_model)
+        df.to_csv('assets/data.csv',index=False)
+    # plot
+    st.write("<b>Preview Dataset</b>",unsafe_allow_html=True)
+    def color_sentiment(val):
+        color_dict = {"positif": "#00cc96", "negatif": "#ef553b","netral": "#636efa"}
+        return f'color: {color_dict[val]}'
+    st.dataframe(df.style.applymap(color_sentiment, subset=['sentiment']),use_container_width=True,height = 200)
+    # st.dataframe(df,use_container_width=True,height = 200)
+    st.write ("Jumlah Tweet: ",df.shape[0])
+    # download datasets 
+    
+
+    st.write("<h3>📊 Analisis Sentimen</h3>",unsafe_allow_html=True)
+    col_fig1, col_fig2 = st.columns([4,3])
+    with col_fig1:
+         with st.spinner('Sedang Membuat Grafik...'):
+            st.write("<b>Jumlah Tweet Tiap Sentiment</b>",unsafe_allow_html=True)
+            fig_1 = fn.get_bar_chart(df)
+            st.plotly_chart(fig_1,use_container_width=True,theme="streamlit")
+    with col_fig2:
+        st.write("<b>Wordcloud Tiap Sentiment</b>",unsafe_allow_html=True)
+        tab1,tab2,tab3 = st.tabs(["😞 negatif","😐 netral","😃 positif"])
+        with tab1:
+            wordcloud_pos = tp.get_wordcloud(df,"negatif")
+            fig = plt.figure(figsize=(10, 5))
+            plt.imshow(wordcloud_pos, interpolation="bilinear")
+            plt.axis("off")
+            st.pyplot(fig)
+        with tab2:
+            wordcloud_neg = tp.get_wordcloud(df,"netral")
+            fig = plt.figure(figsize=(10, 5))
+            plt.imshow(wordcloud_neg, interpolation="bilinear")
+            plt.axis("off")
+            st.pyplot(fig)
+        with tab3:
+            wordcloud_net = tp.get_wordcloud(df,"positif")
+            fig = plt.figure(figsize=(10, 5))
+            plt.imshow(wordcloud_net, interpolation="bilinear")
+            plt.axis("off")
+            st.pyplot(fig)
+    st.write("<h3>✨ Sentiment Clustering</h3>",unsafe_allow_html=True)
+    @st.experimental_singleton
+    def load_sentence_model():
+        embedding_model = SentenceTransformer('sentence_bert')
+        return embedding_model
+    embedding_model = load_sentence_model()
+    tab4,tab5,tab6 = st.tabs(["😞 negatif","😐 netral","😃 positif"])
+    with tab4:
+        if len(df[df["sentiment"]=="negatif"]) < 11:
+            st.write("Tweet Terlalu Sedikit, Tidak dapat melakukan clustering")
+            st.write(df[df["sentiment"]=="negatif"])
+        else:
+            with st.spinner('Sedang Membuat Grafik...(1/2)'):
+                text,data,fig = tp.plot_text(df,"negatif",embedding_model)
+                st.plotly_chart(fig,use_container_width=True,theme=None)
+            with st.spinner('Sedang Mengekstrak Topik... (2/2)'):
+                fig,topic_modelling = tp.topic_modelling(text,data)
+                st.plotly_chart(fig,use_container_width=True,theme="streamlit")
+    with tab5:
+        if len(df[df["sentiment"]=="netral"]) < 11:
+            st.write("Tweet Terlalu Sedikit, Tidak dapat melakukan clustering")
+            st.write(df[df["sentiment"]=="netral"])
+        else:
+            with st.spinner('Sedang Membuat Grafik... (1/2)'):
+                text,data,fig = tp.plot_text(df,"netral",embedding_model)
+                st.plotly_chart(fig,use_container_width=True,theme=None)
+            with st.spinner('Sedang Mengekstrak Topik... (2/2)'):
+                fig,topic_modelling = tp.topic_modelling(text,data)
+                st.plotly_chart(fig,use_container_width=True,theme="streamlit")
+    with tab6:
+        if len(df[df["sentiment"]=="positif"]) < 11:
+            st.write("Tweet Terlalu Sedikit, Tidak dapat melakukan clustering")
+            st.write(df[df["sentiment"]=="positif"])
+        else:
+            with st.spinner('Sedang Membuat Grafik...(1/2)'):
+                text,data,fig = tp.plot_text(df,"positif",embedding_model)
+                st.plotly_chart(fig,use_container_width=True,theme=None)
+            with st.spinner('Sedang Mengekstrak Topik... (2/2)'):
+                fig,topic_modelling = tp.topic_modelling(text,data)
+                st.plotly_chart(fig,use_container_width=True,theme="streamlit")
+        
+            
+    
+

assets/data.csv

@@ -0,0 +1,99 @@
+sentiment,content
+netral,"Gabisa DM min ,gaada tempat buat dm kamu hehe"
+netral,"Halo Haeni, mimin belum menerima DM kamu, yuk infokan mimin kembali melalui DM ya. Terima kasih. -OR"
+positif,"halo ini saya mau atur ulang jam penerbangan, tulisannya tersedia untuk re schedule, tapi setelah di ajukan kenapa tidak tertolak dan tulisannya tidak tersedia untuk penerbangan ini ya ,padahal ada pilihan untuk jam yang ingin diubah"
+netral,"Well, the night comes, but my refund money is still no where in sight. 92 days of waiting and still counting. Been told to wait for another 2x24hr time."
+netral,Mimin meluncur ke DM kamu ya. Ditunggu -TK
+netral,Hai Riri. DM kamu sudah mimin balas ya. Terima kasih. -DA
+netral,min cek dm
+netral,"hallo, min. Cek dm ya. Terima kasih"
+netral,"Siap, Kak. Udah mimin balas ya. -SM"
+negatif,Aamin. ehem ehem
+netral,Tolong dibalas kka
+netral,Hai Kak. Mohon maaf banget ya atas kendala kamu. Supaya nyaman dan aman ngobrolnya boleh informasikan ke mimin nomor pemesanan kamu via DM Kak Supaya mimin bisa cek lebih lanjut. Mimin tunggu ya Kak. Terima kasih. -DA
+netral,kalau purchase pending artinya apa ya Cek akun udah ada receipt nya. Mohon dibantu ya min. Thanks.
+netral,"Sudah bsa,sudah aku DM kak"
+negatif,Ayam rasa rasa yang dulu pernah ada.
+positif,"Aku coba DM tapi ga bsa , coba KK dluan ya"
+netral,"Hai, Kak. Untuk lakukan pengecekan lebih lanjut, yuk infoin nomor pesanan kamu dulu via DM ya. Mimin tunggu -TK"
+netral,"kak aku mau reschedule tiket balik, biaya yg sebelumnya akan direfund atau bagaimana"
+netral,min tolong cek DM saya mau reschedule tiket balik
+netral,admin tolong cek DM
+netral,Cek DM min
+netral,"Hai, Kak. Mohon maaf atas kendala yang kamu alami. Untuk lakukan pengecekan lebih lanjut, mohon infokan nomor pesanan Traveloka kamu via DM ya. Mimin tunggu -TK"
+netral,"Hai Kak Hendri, pada dasarnya untuk asuransi pada produk yang kamu pesan bersifat optional ya Kak, dapat dipesan atau tidak. Apabila kamu memiliki ketidaksesuaian silakan lirkan screenshot dan detail kendalanya via DM, agar mimin dapat coba cek lebih lanjut, terima k"
+netral,Admin saya mau bertanya² ke CS tentang pembatalan penerbangan maskapai melalui aplikasi traveloka. Saya sudah hubungi CS di apk tapi belum ada tanggapan. Harusnya besok saya sudah flight
+positif,"kenapa setiap kita booking traveloka kita selalu harus bayar asuransi Chubb, saya sudah ada asuransi sendiri ngapain banyak2"
+netral,-PA
+netral,Liburan ke Jawa Barat seru dan murah murah kak :D
+netral,"Hai, Kak. Mimin udah balas DM kamu ya. Yuk cek DM dari mimin Kak. -SM"
+netral,"hi min, cek dm dong"
+netral,"Hai Kak. Mimin sudah balas DM kamu ya, silakan dicek kembali. Terima kasih. -KA"
+netral,"Hi min, cek DM ya terima kasih"
+netral,mohon cek dm
+netral,Gk bisa dm
+netral,"Halo, Kak Budi. Pindah ke DMyuk, biar mimin bisa jelasin detail. -Mimin tunggu DM-nya. Terima kasih. -OE"
+netral,"halo min, tolong cek DM yaa"
+netral,"Kalau kamu terkendala hapus akun dengan cara sebelumnya, silakan email langsung ke tim internal mimin dengan alamat email privacy ya. Infokan aja kalo kamu mau hapus akun Traveloka dengan email xxx atau telepon xxx. Terima kasih. -AM 2/2"
+netral,"Hai, Kak. kamu bisa nonaktifkan akun kamu dengan cara Self Deactivation. Kamu klik forgot password, nanti akan ada link untuk nonaktifkan akun yang bisa kamu klik ya dengan pilih Self Deactivation 1/2."
+positif,"hi admin saya mau bayar via uangku kok gaada pilihannya ya Cuma asa debit card sama paylater, mohon bantuannya"
+positif,Ini link apa coba
+netral,"Fly Eat Sleep Shop Repeat No Refund on Cancelation please add it to your tagline , -I Dont think do do the same."
+netral,hahahahah
+netral,"Sudah kak mohon dicheck dmnya ya, terima kasih"
+netral,"Hai, Kak. Mohon maaf udah buat kamu gak nyaman ya. Supaya bisa dibantu cek lebih lanjut, bisa infoin dulu email kamu via DM Mimin tunggu ya. -WR"
+positif,"hi admin, saya udah topup uangku kok gak masuk² udah 30 menit lebih, thanks"
+netral,"Oh sure, thank you, Ive been waiting for 92 days, surely its a very delightful experience to keep waiting another 5x60 minutes. Im sure the Flight Specialist has been doing a great job to fight for my rights, keep up the good work What would I do without you"
+netral,"Hi, Kiky. We do apologize for the inconvenience. Regarding your issue, we inform you that currently it is still in the escalation process by the Flight Specialist team. Please wait for further information in an estimated 5x60 minutes via the Traveloka inbox feature o"
+netral,Good morning world. Oh hi i see its the 92th day I havent been getting my refund back from you. Thank you for the helpful and re-assuring messages from you.
+netral,"hi min, please cek dm ya"
+netral,Kak Jajang bisa aja deh -RZ
+netral,ada kode promo untuk tiket bus gak min
+netral,tetep gak bisa min
+netral,"Hai Kak Rhea. Terkait gambar yang kamu berikan, saat ini tidak ada kendala pada sistem pemesanan kami. Mohon pastikan jaringan yang kamu gunakan stabil serta sudah menggunakan aplikasi Traveloka versi terbaru. Mohon untuk relogin akun Traveloka kamu terlebih dahulu da"
+netral,wkwkwkkw
+netral,"Lewat agen kak, di ig narendra ada. Monggo dicek"
+netral,minn tolong cek dm urgent banget ini min
+netral,oke minn cek dm min
+netral,beli tiketnya lewat aplikasi atau gmn kak
+netral,"Hai, Kak. Sebelumnya bisa infokan nomor pemesanan Traveloka kamu via DM Supaya bisa kami bantu cek lebih lanjut. Terima kasih. -FR"
+positif,minn klo udah mesen tiket esawat tapi nama penumpang ada yang salah gimana ya min bisa diperbaiki ga aku nulis namanya ke double gitu min
+netral,"Ada Rosalia Indah, Harapan Jaya, Narendra"
+netral,Hai Kak Setyo. Bergantung tanggal dan jam yang kamu pilih saat melakukan pemesanan ya. Kamu bisa cek ketersediaan jam keberangkatan melalui aplikasi Traveloka kamu. Yuk di cek -FR
+netral,Dari jakarta jam berapa
+netral,"Bisa kak, di sesuaiin aja sm kebutuhan"
+positif,Nice sowbat mintownquh...
+netral,"Hai, Kak. Untuk perihal tersebut tergantung ketersediaan dari pihak PO Bus ya Kak. Nantinya kamu bisa cek detailnya melalui aplikasi Traveloka pada saat pesan, ataupun bisa konfirmasi kepada pihak PO Bus Kak. Nantinya apabila kamu ada pertanyaan lain, jangan ragu DM mimi"
+positif,ada gak sih double decker yg jkt-madiunn pliss ingfonyaa
+netral,"Baik Kak, silakan cek DM-nya kembali ya -RU"
+netral,"Hai, Kak. Mohon menginformasikan kembali kendala atau pertanyaan yang ingin Kakak saikan terkait Booking ID tersebut via DM agar mimin bisa bantu lebih lanjut informasinya. Terima kasih. -RU"
+netral,Hi kak tolong cdm yaa urgent
+netral,Terima kasih ya min
+netral,"You know what, Im gonna keep this thread long. I will start my Day-91. Please anticipate for more tweets days ahead ok Im counting days on you."
+netral,"So now tell me, what actions you have been doing for the past 90 days Can you show me your communication history with PAL"
+netral,We apologize for the inconvenience caused. Our team is currently looking into your issue and we will get back to you shortly via inbox on Traveloka app with the latest update. Thank you for your understanding -RU
+netral,Sudah DM
+netral,"Hai, Nita. Makasih udah hubungin mimin ya. Sambil mimin infoin pertanyaan kamu, bisikin ke mimin juga yuk data email kamu yang terdaftar di Traveloka via DM , mimin mau ajak kamu untuk ikutan isi survey layanan nih. Mimin tunggu ya. Terima kasih : -RU"
+positif,"Klo paspor lama expired, masih bisa beli tiket ga dg paspor tsb, Perpanjangan paspor msh nunggu antrian soalnya."
+netral,"Hai Kak, makasih udah hubungin mimin ya. Sambil mimin infoin pertanyaan kamu, bisikin ke mimin juga yuk data email kamu yang terdaftar di Traveloka melalui DM, mimin mau ajak kamu untuk ikutan isi survey layanan nih -DZ 1/2"
+netral,Next trip cobain double decker
+netral,Min event 2.2 bakal ada promo bus gkkkk Promo kemaren udh gk kebagiann
+netral,"Baik Kak Hazna, mimin sudah balas DM kamu ya, mohon untuk cek DM Kak -NT"
+netral,Trip kapan min
+netral,Is 4.6million too much for you to return Arent you a Unicorn arent you ranked 1st as The Best Place to Work in Indonesia So you take care your employees but you dont take your customers seriously
+netral,You know what I am out of patience. You guys did not take me seriously for the past 90 days What is this International Flight Specialist have been doing with my inquiry the whole 3 MONTHS Were you aware that this is a SERIOUS issue You guys are keeping my money
+netral,We are coordinating closely with related airlines regarding to your issue. Our International Flight Specialist team will update and provide you the confirmation through inbox on Traveloka app on Case ID 30xxxx77. We thank you for your patience -RU
+netral,What is now your offer to solve this How are you gonna escalated this To who Who is the one going to ensure my money will return
+netral,"Ive been contacting your cs team dozen times. No answers every time. You all keep wanting me to wait and throw your responsibilities to the airlines. Do remember I made my transaction to you, I transferred my money to you. You got your profit already from my transaction. But me"
+netral,"Iyaa, aku berharapnya yaa bisa dibedakan gituu"
+netral,Dear mohon bantuannya. Saya ingin melaporkan ketidakpuasan saya terhadap penanganan isu refund dari Mohon dapat diberikan info prosedur pelaporan. Terima kasih.
+netral,"Hi, Kiky. Were deeply sorry for the inconvenience youve experienced. We understand how frustrating this experience must be. However we will need your help to kindly inform us your booking details via DM so we can address your concern to internal team as well as our"
+netral,"Hehe, minimal atur jadwal dan ambil cuti kamu aja dulu Kak Ecko, sambil ngumpulin dananya -NT"
+netral,"Baik Kak, mohon cek DM-nya kembali ya. Terima kasih -RU"
+netral,"valid no debat, sering disandingin, biar kaya lagi ngobrol, twitter kiri, traveloka kanan"
+netral,"Hai Kak Hazna, agar mimin dapat bantu cek lebih lanjut mengenai pemesanan kamu, mohon sebutkan nomor pemesanan kamu di Traveloka yang terdiri dari 9 Digit angka via DM ya Kak, mimin tunggu konfirmasinya. -NT"
+positif,Udh saya inbox
+positif,Servis makannya ga bedaa ya sama class yg lain:
+netral,"Halo, Vazeryn. Kami mohon maaf atas kendala yang dialami saat menggunakan aplikasi kami. Untuk investigasi lebih lanjut, kamu bisa kirimkan screenshot error atau penjelasan kendala yang ditemui via DM ya Kak. Terima kasih -RU"
+netral,"Makasih ya Kak Kadek udah berbagi cerita Pasti seru banget perjalanannya Oh Iya, mimin minta bantuan Kakak buat ngisi survey meningkatkan kualitas pelayanan Traveloka. Boleh infoin alamat email kamu via DM Mimin tunggu ya. Makasih -RU"
+netral,cek dm min

assets/df_model.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:29ceb6f9e4327d2b9181cf5a651f8e88876920b94c205a52340f401f8c2ae536
+size 63943096

assets/stopwordbahasa.csv

@@ -0,0 +1,782 @@
+mimin
+gimana
+min
+ga
+iya 
+dg 
+dengan
+ia
+bahwa
+oleh
+sy
+kl
+gak
+ah
+apa
+kok
+mau
+yg
+pak
+bapak
+ibu
+krn
+nya
+ya
+ada
+adalah
+adanya
+adapun
+agak
+agaknya
+agar
+akan
+akankah
+akhir
+akhiri
+akhirnya
+aku
+akulah
+amat
+amatlah
+anda
+andalah
+antar
+antara
+antaranya
+apa
+apaan
+apabila
+apakah
+apalagi
+apatah
+artinya
+asal
+asalkan
+atas
+atau
+ataukah
+ataupun
+awal
+awalnya
+bagai
+bagaikan
+bagaimana
+bagaimanakah
+bagaimanapun
+bagi
+bagian
+bahkan
+bahwa
+bahwasanya
+baik
+bakal
+bakalan
+balik
+banyak
+bapak
+baru
+bawah
+beberapa
+begini
+beginian
+beginikah
+beginilah
+begitu
+begitukah
+begitulah
+begitupun
+bekerja
+belakang
+belakangan
+belum
+belumlah
+benar
+benarkah
+benarlah
+berada
+berakhir
+berakhirlah
+berakhirnya
+berapa
+berapakah
+berapalah
+berapapun
+berarti
+berawal
+berbagai
+berdatangan
+beri
+berikan
+berikut
+berikutnya
+berjumlah
+berkali-kali
+berkata
+berkehendak
+berkeinginan
+berkenaan
+berlainan
+berlalu
+berlangsung
+berlebihan
+bermacam
+bermacam-macam
+bermaksud
+bermula
+bersama
+bersama-sama
+bersiap
+bersiap-siap
+bertanya
+bertanya-tanya
+berturut
+berturut-turut
+bertutur
+berujar
+berupa
+besar
+betul
+betulkah
+biasa
+biasanya
+bila
+bilakah
+bisa
+bisakah
+boleh
+bolehkah
+bolehlah
+buat
+bukan
+bukankah
+bukanlah
+bukannya
+bulan
+bung
+cara
+caranya
+cukup
+cukupkah
+cukuplah
+cuma
+dahulu
+dalam
+dan
+dapat
+dari
+daripada
+datang
+dekat
+demi
+demikian
+demikianlah
+dengan
+depan
+di
+dia
+diakhiri
+diakhirinya
+dialah
+diantara
+diantaranya
+diberi
+diberikan
+diberikannya
+dibuat
+dibuatnya
+didapat
+didatangkan
+digunakan
+diibaratkan
+diibaratkannya
+diingat
+diingatkan
+diinginkan
+dijawab
+dijelaskan
+dijelaskannya
+dikarenakan
+dikatakan
+dikatakannya
+dikerjakan
+diketahui
+diketahuinya
+dikira
+dilakukan
+dilalui
+dilihat
+dimaksud
+dimaksudkan
+dimaksudkannya
+dimaksudnya
+diminta
+dimintai
+dimisalkan
+dimulai
+dimulailah
+dimulainya
+dimungkinkan
+dini
+dipastikan
+diperbuat
+diperbuatnya
+dipergunakan
+diperkirakan
+diperlihatkan
+diperlukan
+diperlukannya
+dipersoalkan
+dipertanyakan
+dipunyai
+diri
+dirinya
+disampaikan
+disebut
+disebutkan
+disebutkannya
+disini
+disinilah
+ditambahkan
+ditandaskan
+ditanya
+ditanyai
+ditanyakan
+ditegaskan
+ditujukan
+ditunjuk
+ditunjuki
+ditunjukkan
+ditunjukkannya
+ditunjuknya
+dituturkan
+dituturkannya
+diucapkan
+diucapkannya
+diungkapkan
+dong
+dua
+dulu
+empat
+enggak
+enggaknya
+entah
+entahlah
+guna
+gunakan
+hal
+hampir
+hanya
+hanyalah
+hari
+harus
+haruslah
+harusnya
+hendak
+hendaklah
+hendaknya
+hingga
+ia
+ialah
+ibarat
+ibaratkan
+ibaratnya
+ibu
+ikut
+ingat
+ingat-ingat
+ingin
+inginkah
+inginkan
+ini
+inikah
+inilah
+itu
+itukah
+itulah
+jadi
+jadilah
+jadinya
+jangan
+jangankan
+janganlah
+jauh
+jawab
+jawaban
+jawabnya
+jelas
+jelaskan
+jelaslah
+jelasnya
+jika
+jikalau
+juga
+jumlah
+jumlahnya
+justru
+kala
+kalau
+kalaulah
+kalaupun
+kalian
+kami
+kamilah
+kamu
+kamulah
+kan
+kapan
+kapankah
+kapanpun
+karena
+karenanya
+kasus
+kata
+katakan
+katakanlah
+katanya
+ke
+keadaan
+kebetulan
+kecil
+kedua
+keduanya
+keinginan
+kelamaan
+kelihatan
+kelihatannya
+kelima
+keluar
+kembali
+kemudian
+kemungkinan
+kemungkinannya
+kenapa
+kepada
+kepadanya
+kesampaian
+keseluruhan
+keseluruhannya
+keterlaluan
+ketika
+khususnya
+kini
+kinilah
+kira
+kira-kira
+kiranya
+kita
+kitalah
+kok
+kurang
+lagi
+lagian
+lah
+lain
+lainnya
+lalu
+lama
+lamanya
+lanjut
+lanjutnya
+lebih
+lewat
+lima
+luar
+macam
+maka
+makanya
+makin
+malah
+malahan
+mampu
+mampukah
+mana
+manakala
+manalagi
+masa
+masalah
+masalahnya
+masih
+masihkah
+masing
+masing-masing
+mau
+maupun
+melainkan
+melakukan
+melalui
+melihat
+melihatnya
+memang
+memastikan
+memberi
+memberikan
+membuat
+memerlukan
+memihak
+meminta
+memintakan
+memisalkan
+memperbuat
+mempergunakan
+memperkirakan
+memperlihatkan
+mempersiapkan
+mempersoalkan
+mempertanyakan
+mempunyai
+memulai
+memungkinkan
+menaiki
+menambahkan
+menandaskan
+menanti
+menanti-nanti
+menantikan
+menanya
+menanyai
+menanyakan
+mendapat
+mendapatkan
+mendatang
+mendatangi
+mendatangkan
+menegaskan
+mengakhiri
+mengapa
+mengatakan
+mengatakannya
+mengenai
+mengerjakan
+mengetahui
+menggunakan
+menghendaki
+mengibaratkan
+mengibaratkannya
+mengingat
+mengingatkan
+menginginkan
+mengira
+mengucapkan
+mengucapkannya
+mengungkapkan
+menjadi
+menjawab
+menjelaskan
+menuju
+menunjuk
+menunjuki
+menunjukkan
+menunjuknya
+menurut
+menuturkan
+menyampaikan
+menyangkut
+menyatakan
+menyebutkan
+menyeluruh
+menyiapkan
+merasa
+mereka
+merekalah
+merupakan
+meski
+meskipun
+meyakini
+meyakinkan
+minta
+mirip
+misal
+misalkan
+misalnya
+mula
+mulai
+mulailah
+mulanya
+mungkin
+mungkinkah
+nah
+naik
+namun
+nanti
+nantinya
+nyaris
+nyatanya
+oleh
+olehnya
+pada
+padahal
+padanya
+pak
+paling
+panjang
+pantas
+para
+pasti
+pastilah
+penting
+pentingnya
+per
+percuma
+perlu
+perlukah
+perlunya
+pernah
+persoalan
+pertama
+pertama-tama
+pertanyaan
+pertanyakan
+pihak
+pihaknya
+pukul
+pula
+pun
+punya
+rasa
+rasanya
+rata
+rupanya
+saat
+saatnya
+saja
+sajalah
+saling
+sama
+sama-sama
+sambil
+sampai
+sampai-sampai
+sampaikan
+sana
+sangat
+sangatlah
+satu
+saya
+sayalah
+se
+sebab
+sebabnya
+sebagai
+sebagaimana
+sebagainya
+sebagian
+sebaik
+sebaik-baiknya
+sebaiknya
+sebaliknya
+sebanyak
+sebegini
+sebegitu
+sebelum
+sebelumnya
+sebenarnya
+seberapa
+sebesar
+sebetulnya
+sebisanya
+sebuah
+sebut
+sebutlah
+sebutnya
+secara
+secukupnya
+sedang
+sedangkan
+sedemikian
+sedikit
+sedikitnya
+seenaknya
+segala
+segalanya
+segera
+seharusnya
+sehingga
+seingat
+sejak
+sejauh
+sejenak
+sejumlah
+sekadar
+sekadarnya
+sekali
+sekali-kali
+sekalian
+sekaligus
+sekalipun
+sekarang
+sekarang
+sekecil
+seketika
+sekiranya
+sekitar
+sekitarnya
+sekurang-kurangnya
+sekurangnya
+sela
+selain
+selaku
+selalu
+selama
+selama-lamanya
+selamanya
+selanjutnya
+seluruh
+seluruhnya
+semacam
+semakin
+semampu
+semampunya
+semasa
+semasih
+semata
+semata-mata
+semaunya
+sementara
+semisal
+semisalnya
+sempat
+semua
+semuanya
+semula
+sendiri
+sendirian
+sendirinya
+seolah
+seolah-olah
+seorang
+sepanjang
+sepantasnya
+sepantasnyalah
+seperlunya
+seperti
+sepertinya
+sepihak
+sering
+seringnya
+serta
+serupa
+sesaat
+sesama
+sesampai
+sesegera
+sesekali
+seseorang
+sesuatu
+sesuatunya
+sesudah
+sesudahnya
+setelah
+setempat
+setengah
+seterusnya
+setiap
+setiba
+setibanya
+setidak-tidaknya
+setidaknya
+setinggi
+seusai
+sewaktu
+siap
+siapa
+siapakah
+siapapun
+sini
+sinilah
+soal
+soalnya
+suatu
+sudah
+sudahkah
+sudahlah
+supaya
+tadi
+tadinya
+tahu
+tahun
+tak
+tambah
+tambahnya
+tampak
+tampaknya
+tandas
+tandasnya
+tanpa
+tanya
+tanyakan
+tanyanya
+tapi
+tegas
+tegasnya
+telah
+tempat
+tengah
+tentang
+tentu
+tentulah
+tentunya
+tepat
+terakhir
+terasa
+terbanyak
+terdahulu
+terdapat
+terdiri
+terhadap
+terhadapnya
+teringat
+teringat-ingat
+terjadi
+terjadilah
+terjadinya
+terkira
+terlalu
+terlebih
+terlihat
+termasuk
+ternyata
+tersampaikan
+tersebut
+tersebutlah
+tertentu
+tertuju
+terus
+terutama
+tetap
+tetapi
+tiap
+tiba
+tiba-tiba
+tidak
+tidakkah
+tidaklah
+tiga
+tinggi
+toh
+tunjuk
+turut
+tutur
+tuturnya
+ucap
+ucapnya
+ujar
+ujarnya
+umum
+umumnya
+ungkap
+ungkapnya
+untuk
+usah
+usai
+waduh
+wah
+wahai
+waktu
+waktunya
+walau
+walaupun
+wong
+yaitu
+yakin
+yakni
+yang

indobert/config.json

@@ -0,0 +1,46 @@
+{
+  "_name_or_path": "indobenchmark/indobert-lite-base-p1",
+  "_num_labels": 3,
+  "architectures": [
+    "AlbertForSequenceClassification"
+  ],
+  "attention_probs_dropout_prob": 0,
+  "bos_token_id": 2,
+  "classifier_dropout_prob": 0.1,
+  "down_scale_factor": 1,
+  "embedding_size": 128,
+  "eos_token_id": 3,
+  "gap_size": 0,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0,
+  "hidden_size": 768,
+  "id2label": {
+    "0": 0,
+    "1": 1,
+    "2": 2
+  },
+  "initializer_range": 0.02,
+  "inner_group_num": 1,
+  "intermediate_size": 3072,
+  "label2id": {
+    "positif": 0,
+    "netral": 1,
+    "negatif": 2
+  },
+  "layer_norm_eps": 1e-12,
+  "max_position_embeddings": 512,
+  "model_type": "albert",
+  "net_structure_type": 0,
+  "num_attention_heads": 12,
+  "num_hidden_groups": 1,
+  "num_hidden_layers": 12,
+  "num_memory_blocks": 0,
+  "output_past": true,
+  "pad_token_id": 0,
+  "position_embedding_type": "absolute",
+  "problem_type": "single_label_classification",
+  "torch_dtype": "float32",
+  "transformers_version": "4.20.1",
+  "type_vocab_size": 2,
+  "vocab_size": 30000
+}

indobert/pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:7acc22f7091c678b59d2953576814b63e8ed5339e7d43e4eedbd895e15cac77a
+size 46756497

indobert/special_tokens_map.json

@@ -0,0 +1,7 @@
+{
+  "cls_token": "[CLS]",
+  "mask_token": "[MASK]",
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "unk_token": "[UNK]"
+}

indobert/tokenizer_config.json

@@ -0,0 +1,15 @@
+{
+  "cls_token": "[CLS]",
+  "do_basic_tokenize": true,
+  "do_lower_case": true,
+  "mask_token": "[MASK]",
+  "name_or_path": "indobenchmark/indobert-lite-base-p1",
+  "never_split": null,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "special_tokens_map_file": "/root/.cache/huggingface/transformers/b6b586d8d94e9bf6e42220e38946991ba8ef18d03b186ced76a4f19ae21ed603.dd8bd9bfd3664b530ea4e645105f557769387b3da9f79bdb55ed556bdd80611d",
+  "strip_accents": null,
+  "tokenize_chinese_chars": true,
+  "tokenizer_class": "BertTokenizer",
+  "unk_token": "[UNK]"
+}

pages/1__model_information.py

@@ -0,0 +1,36 @@
+import streamlit as st
+import time
+import numpy as np
+import joblib
+import plotly.express as px
+import script.functions as fn
+import pandas as pd
+
+st.set_page_config(page_title="Model Information", page_icon="📈")
+
+st.sidebar.markdown("📈 Model Information")
+
+st.markdown("<h1 style='text-align: center;'>📈 Model Information</h1>", unsafe_allow_html=True)
+st.write("halaman ini berisi mengenai informasi model yang tersedia pada aplikasi. anda bisa melihat bagaimana performa model dalam memprediksi sentiment baik dari waktu maupun hasil prediksi.")
+
+st.markdown("<h3>⌛ Model Perfomance</h3>", unsafe_allow_html=True)
+st.caption("Perfomance model dihitung berdasarkan akurasi dan waktu yang dibutuhkan model untuk memprediksi 100 data")
+df_model = joblib.load("./assets/df_model.pkl")
+fig = fn.plot_model_summary(df_model)
+st.plotly_chart(fig,use_container_width=True,theme="streamlit")
+
+
+st.markdown("<h3>🚀 Model Evaluation</h3>", unsafe_allow_html=True)
+st.caption("Hasil evaluasi model berdasarkan data IndoNLU subset smsa pada validation split")
+
+df = pd.read_csv("./assets/valid.csv")
+option = st.selectbox('Pilih Model',["IndoBERT",'Naive Bayes','Logistic Regression','XGBoost','Catboost','SVM','Random Forest'],key = "model1")
+clfr_fig = fn.plot_clfr(df_model,option,df)
+conf_m_fig = fn.plot_confusion_matrix(df_model,option,df)
+clfr,conf_m = st.columns([1,1])
+with clfr:
+    st.plotly_chart(clfr_fig,use_container_width=True,theme="streamlit")
+with conf_m:
+    st.plotly_chart(conf_m_fig,use_container_width=True,theme="streamlit")
+st.caption("CLassification Report : Classification report merupakan metode evaluasi yang menyedakan data mengenai akurasi klasifikasi, recall, precision, dan F1 score.") 
+st.caption("Confusion Matrix : mengukur jumlah prediksi benar dan salah yang dibuat oleh model yang berguna  untuk menunjukkan kinerja dari model untuk setiap kelas") 

requirements.txt

@@ -0,0 +1,12 @@
+scikit-learn == 1.2.1
+pandas
+numpy
+matplotlib
+plotly
+wordcloud
+transformers
+sentence-transformers
+bertopic
+snscrape == 0.5.0.20230113
+xgboost == 1.7.3
+catboost == 1.1.1

scraping.ipynb

@@ -0,0 +1,213 @@
+{
+ "cells": [
+  {
+   "cell_type": "code",
+   "execution_count": 1,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "import snscrape.modules.twitter as sntwitter"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 9,
+   "metadata": {},
+   "outputs": [
+    {
+     "ename": "AttributeError",
+     "evalue": "module 'snscrape' has no attribute '__version__'",
+     "output_type": "error",
+     "traceback": [
+      "\u001b[1;31m---------------------------------------------------------------------------\u001b[0m",
+      "\u001b[1;31mAttributeError\u001b[0m                            Traceback (most recent call last)",
+      "Cell \u001b[1;32mIn[9], line 2\u001b[0m\n\u001b[0;32m      1\u001b[0m \u001b[39mimport\u001b[39;00m \u001b[39msnscrape\u001b[39;00m\n\u001b[1;32m----> 2\u001b[0m snscrape\u001b[39m.\u001b[39;49m__version__\n",
+      "\u001b[1;31mAttributeError\u001b[0m: module 'snscrape' has no attribute '__version__'"
+     ]
+    }
+   ],
+   "source": [
+    "import snscrape\n",
+    "snscrape.__version__"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 9,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "C:\\Users\\syair dafiq\\AppData\\Local\\Temp\\ipykernel_11116\\2950995507.py:8: FutureWarning: content is deprecated, use rawContent instead\n",
+      "  tweets.append([tweet.content])\n"
+     ]
+    }
+   ],
+   "source": [
+    "query = \"@traveloka -filter:links filter:replies lang:id\"\n",
+    "tweets = []\n",
+    "# Using TwitterSearchScraper to scrape\n",
+    "# Using TwitterSearchScraper to scrape\n",
+    "for i,tweet in enumerate(sntwitter.TwitterSearchScraper(query).get_items()):\n",
+    "    if i>=100:\n",
+    "        break\n",
+    "    tweets.append([tweet.content])"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 10,
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "[['@traveloka Terima kasih 🙏'],\n",
+       " ['@SSusaneey Aamiin! Semoga segera terwujud di tahun 2023 ya, Kak Susan 💙\\n\\n\\xa0-AM'],\n",
+       " ['@traveloka Pagi Admin, mau tanya kenapa skrg ditraveloka penerbangan ke Iran ngga ada semua ya ? \\n\\nTerimakasih'],\n",
+       " ['@adm1nwaras Halo, Kak Fata. Mengenai hal tersebut, kamu bisa langsung konfirmasi ke pihak\\nKAI dengan menghubungi call center PT. KAI di nomor 021 – 121. Terima kasih. -WR'],\n",
+       " ['@traveloka halo min.. kenapa ya sekarang ga bisa add tiket ke KAIAccess kalau pesan tiket nya dari traveloka? mau print boarding pass jadi harus ke counter'],\n",
+       " ['@humminglzbrd Halo Kak. Pada dasarnya kamu bisa centang salah satu nama penumpang saat ajukan\\nrefund di aplikasi. Namun untuk pengecekan lebih lanjut pesanan kamu, infoin\\nnomor pesanan Traveloka kamu via DM dulu yuk. Mimin tunggu ya. Terima kasih. -MZ'],\n",
+       " ['@traveloka min, saya beli 4 tiket pesawat dalam 1 kode booking. kalau mau cancel 1 orang saja apakah bisa?'],\n",
+       " ['Dear @traveloka Segera tanggapi komplain saya no. Laporan #30462475'],\n",
+       " ['@DDPRXYZ Hai, Kak. Agar kami bisa cek lebih lanjut, mohon infokan No. Pesanan Traveloka\\nkamu beserta bukti pembayaran kamu via DM ya. Terima kasih. -SY'],\n",
+       " ['@hefihendri Hai, Hefi. Mohon maaf atas kendalanya. Agar kami bisa cek lebih lanjut, mohon\\ninfokan No. Pesanan Traveloka kamu via DM ya. Terima kasih. -SY'],\n",
+       " ['@traveloka Akan lebih banyak air mata saat ngerti telah ditipu oleh @traveloka'],\n",
+       " ['@notbadkuy Sudah mimin respon DM kamu lagi Kak. Terima kasih -DZ'],\n",
+       " ['@traveloka Cek dm lgi ka'],\n",
+       " ['@notbadkuy Sudah mimin respon DM kamu Kak. Terima kasih -DZ'],\n",
+       " ['@traveloka @naljenal Cek dm min'],\n",
+       " ['@naljenal Mimin tunggu loh ya pemesanan kamu kak.\\xa0😊 -DA'],\n",
+       " ['@traveloka @senjatanuklir Harga akomodasi keluar dari jawa luar biasa yaa :))) wishlist dulu ya'],\n",
+       " ['@shazzzha Hai Kak. Mohon maaf banget ya atas kendala kamu. Saat ini untuk pembelian tiket\\npesawat sedang mengalami perbaikan system kak. Mohon kesediaannya untuk dapat\\ndilakukan pengecekan secara berkala ya kak. Terima kasih. -DA'],\n",
+       " ['@traveloka error terus mau pesen tiket pesawat dari jam 00.01'],\n",
+       " ['@Haamdee Hai Kak Hamdi, apabila kamu memiliki kendala pada pemesanan kamu, silakan\\nsampaikan ke mimin di DM ya Kak, terima kaish. -NT'],\n",
+       " ['@traveloka Dengan senang hati, kak. Aku menuju dm, ya!'],\n",
+       " ['@bifrozt Sama-sama kak. Oh ya, mimin butuh survey kamu nih untuk meningkatkan kualitas\\npelayanan Traveloka. Boleh infoin alamat email kamu yang aktif via DM Kak? Mimin\\ntunggu konfirmasinya ya. Terima kasih. -DA'],\n",
+       " ['@traveloka Terima kasih kak ^^'],\n",
+       " ['@traveloka cek dm min thankyou'],\n",
+       " ['@rossafosho Hai Kak Rosa. Untuk DM kamu sudah mimin balas ya. Mohon kesediaannya untuk\\nmelakukan pengecekan. Terima kasih. -DA'],\n",
+       " ['@traveloka @senjatanuklir Ke Likupang aja kak, Bunaken udah ga se bagus duluuu'],\n",
+       " ['@springberyl Hai Kak. DM kamu sudah mimin balas ya. Silakan dicek. -CA'],\n",
+       " ['@traveloka Ditunggu balasannya kak'],\n",
+       " ['@fadnov Mimin meluncur ke DM kamu ya Kak Fadli. Ditunggu 😊-TK'],\n",
+       " ['@traveloka halo kak. Mohon cek DM'],\n",
+       " ['@sbyfess 1. Beli pas low season\\n2. Giat mencari promo\\n3. Ikutan giveaway potongan harga di acara Live dll\\n4. Pake fitur buat ngsh tau kalo tiket lagi murah\\n\\nNah, semua itu tidak lain dan tidak bukan bisa kamu dapetin di aplikasi Traveloka🤭'],\n",
+       " ['@thohirjassin Hai, Thohir. Mohon maaf sebelumnya ya. Supaya bisa dilakukan pengecekan lebih\\nlanjut, silakan diinfoin ya nomor pesanan Traveloka kamu melalui DM. Ditunggu ya\\nKak. Terima kasih. -IN'],\n",
+       " ['@syakilamufida Ohh iya mimin butuh survey kamu nih untuk meningkatkan kualitas pelayanan\\nTraveloka. Boleh infoin alamat email akun Traveloka kamu via DM, Kak? Mimin\\ntunggu konfirmasinya ya. Makasih. -LA'],\n",
+       " ['@syakilamufida Hai, Kak. Terima kasih juga sudah percaya dengan Traveloka ya. Have a nice day😉\\n-LA'],\n",
+       " ['@lovelydeb_ Halo, Kak Pia. Mimin udah balas DM kamu yaaa. Yuk cek DM-nya 😊 -SM'],\n",
+       " ['@traveloka Mimin cantik/ganteng, buka dm dong plis\\U0001f979'],\n",
+       " ['@jhiyonatan Halo Yonatan, agar dapat mimin cek lebih lanjut, infokan email dan nomor ponsel\\nkamu melalui DM ya. Terima kasih. -OR'],\n",
+       " ['@trxshh @traveloka haloo kak, saya jg dpt email yg sama nih, DM nya udah dijawab atau blm sama mereka? so, itu bener valid dan aman kah??'],\n",
+       " ['@byutivi Sudah ya Kak, silakan dicek ya balasan mimin. Terima kasih. -IN'],\n",
+       " ['@traveloka ka jawab dong naik pesawat perlu booster atau gaak'],\n",
+       " ['@byutivi Oh iya nih Kak, mimin butuh survey kamu nih untuk meningkatkan kualitas\\npelayanan Traveloka. Boleh infoin alamat email akun Traveloka kamu melalui DM?\\nMimin tunggu konfirmasinya ya. Makasih. -IN'],\n",
+       " ['@traveloka min untuk naik pesawat sekarang apakah masih dibutuhkan syarat minimal vaksin booster?'],\n",
+       " ['@trxshh Hai, Kak. Untuk pengecekan lebih lanjut, silakan DM mimin email atau nomor\\ntelepon akun PayLater kamu. Mimin tunggu konfirmasinya. Terima kasih. -SM'],\n",
+       " ['@astrianov19 Aamiin! Semoga segera terwujud di tahun 2023 ya, Kak Astria 💙 -AM'],\n",
+       " ['@kuyaxs Semoga banyak hal baik yang datang ke kamu di tahun ini ya Kak 💙 -WR'],\n",
+       " ['@aljeihateu @traveloka haloo, aku udah di refund sehari setelah lapor. coba km hubungin customer service traveloka pake apps nya yaa'],\n",
+       " ['@traveloka halo admin minta tolong balas DM lagi yaah krn super urgent, thanks before 🥺🥺🥺🙏🏻🙏🏻🙏🏻'],\n",
+       " ['@aljeihateu Hai, Kak. Jika kamu memiliki kendala salah transfer ke rekening Traveloka, mohon\\nhubungi mimin melalui DM serta lampirkan bukti bayarnya di DM ya, agar bisa\\ndibantu cek lebih lanjut. Terima kasih. -WR'],\n",
+       " ['@rzkamlputrii @traveloka Maaf kak, uangnya sudah di refund,,?\\n soalnya saya jga punya masalah yg sama, salah tranfer ke rekening bni traveloka sudah lapor tapi masih panik'],\n",
+       " ['@thendless_D @traveloka @hiro_ngelag BIAR DAPET HOTEL'],\n",
+       " ['@wahyuadya Hai Kak Wahyu. Betul Kak. Kalo ada kendala atau pertanyaan, kamu bisa langsung\\nhubungi mimin melalui DM ya. Supaya bisa mimin bantu lebih lanjut. Terima kasih.\\n😊 -FR'],\n",
+       " ['@mgfiratulistqmh @traveloka Selamat malam kak Fira, terkait dengan informasi perubahan jadwal maskapai kakak, bisa diinfomasikan secara langsung melalui pesan/inbox via traveloka Apps atau kakak bisa via email juga, agar bisa dilakukan lebih lanjut ya kak. Terima kasih :)'],\n",
+       " ['@nekopurrin_ @traveloka min kok disini ga ada hotel bintang 100'],\n",
+       " ['@NathArtistOwO @traveloka @hiro_ngelag BELL ANJER, KENAPA SAMPEK NGETAG TRAVELOKA 😭😭 mana ditanggepin'],\n",
+       " ['@pencarioppa Hai Kak. Apabila ada pertanyaan bisa DM ke mimin ya. -CA'],\n",
+       " ['@makannteyussss @traveloka Halo k mau tanya dong kakaknya udah tau belombaliknya uang atau ap?'],\n",
+       " ['@susukhalal Ada yang bisa mimin bantu Kak? Kalo ada pertanyaan atau kendala kamu bisa\\ninfokan melalui DM ya Kak. Supaya bisa mimin bantu lebih lanjut. Terima kasih.\\n-FR'],\n",
+       " ['@traveloka mana mimin AK nya? kenapa mimin FR yang bales 🧐'],\n",
+       " ['@traveloka @hiro_ngelag WAH AKU DI NOTICE, MINTA HOTEL MIN'],\n",
+       " ['@NathArtistOwO Hai Kak Bella, apabila kamu memiliki pertanyaan tentang pemesanan kamu, silakan\\nsampaikan detailnya melalui DM ya Kak, mimin tunggu. -NT'],\n",
+       " ['@hiro_ngelag @traveloka Maap🙏biar dapet hotel bintang 100'],\n",
+       " ['@NathArtistOwO @traveloka kebiasaan ngetag org lain ajr'],\n",
+       " ['@hiro_ngelag @traveloka ada yang booking min'],\n",
+       " ['@eurush_ Hai Kak, untuk dapat kami bantu cek pemesanan kamu yang terkendala, mohon\\ninformasikan detail bukti screenshot beserta rute dan tanggal perjalanan yang\\nkamu inginkan melalui DM Traveloka ya Kak. Ditunggu😊 -AK'],\n",
+       " ['@kuchingtaimu @CommuterLine Padahal ayamnya mau berangkat kerja cari nafkah\\U0001f979\\U0001f979'],\n",
+       " ['@traveloka @traveloka nama lengkap Novie Rumuy\\nAlamat email [email protected]'],\n",
+       " ['@NovieRumuy Hai, Novie. Supaya bisa dilakukan pengecekan lebih lanjut, sialakn diinfoin ya\\nnama lengkap dan alamat email yang terdaftar pada akun PayLater kamu melalui DM.\\nDitunggu ya Kak. Terima kasih. -IN'],\n",
+       " ['@traveloka kenapa sy memanfaatkan saldo paylater saya, lalu tiba2 saldo saya di turunkan, padahal sy membayar tepat waktu... apa manfaatnya paylater kalo tdk dimanfaatkan.... hapuskan aja produknya kalo bgtu...'],\n",
+       " ['@traveloka Sudah saya DM yaa, mohon dibantu cek.. terimakasih min'],\n",
+       " ['@freshappiness Hai Kak. Maaf sebelumnya, untuk dapat mimin bantu cek lebih lanjut infokan dulu yuk nomor pesanan Traveloka kamu via DM. Terima kasih. -RM'],\n",
+       " ['@siiofyorluv AK itu singkatan nama mimin Kak. 😁 -FR'],\n",
+       " ['@traveloka ak itu akuntansi atau apa 😵'],\n",
+       " ['@diinoraurus DM kamu sudah mimin balas ya Kak. Silakan dicek🙏 -MZ'],\n",
+       " ['@traveloka mohon bantuan, sudah saya DM 🙏'],\n",
+       " ['@viqtinx @traveloka @BPerempuan Udah lewat kaka hehe'],\n",
+       " ['@traveloka tahun ini jg masih bisa apply visa waiver ga min?'],\n",
+       " ['@LJumardi Hai Kak Lucia, kendala kamu sudah mimin balas via DM ya. Silakan dicek. -NA'],\n",
+       " ['@traveloka @uway__ Minimal skill 2 dulu min....maen ulti aja\\U0001fae0\\U0001fae0\\U0001fae0'],\n",
+       " ['@traveloka Promo yang tidak ada gunanya mending promo. Ini dihapus, dibuat BDOBESTIE tapi hanya berlaku untuk Nam air dan sriwijaya sedangkan pesawat dari bandung tidak ada yang naik pesawat itu\\n\\nKalau tidak niat mending jangan berikan promo kak\\n\\nHanya berkoar koar saja apa yg bisa diambil'],\n",
+       " ['@traveloka selamat pagi ka, mohon dibantu untuk di respon DM saya. Terimakasih 🙏🏼'],\n",
+       " ['@Iexicone Mimin sudah balas via DM, Kak. Silakan dicek ya🙏 -MZ'],\n",
+       " ['@_Utariyulianti Mimin meluncur ke DM ya, Kak Utari :) -VK'],\n",
+       " ['@traveloka halo min, tolong cek dm'],\n",
+       " ['@Iexicone Hai Megan. Sebelumnya mohon maaf atas ketidaknyamanannya. Supaya bisa mimin bantu cek lebih lanjut, mohon bantuannya infokan dahulu nomor pesanan Traveloka kamu ke DM ya. Terima kasih. -KK'],\n",
+       " ['@hajelnuts Makasih Kak 💙  -AH'],\n",
+       " ['@traveloka Mimin jugaa!!🤩\\U0001faf6🏻'],\n",
+       " ['@dandelionsin1 Aamiin, semoga terwujud ya Kak. -AH'],\n",
+       " ['@traveloka @woypriss Mimin nya udh siap tuh jadi temen traveling kamu man😁'],\n",
+       " ['@llhamkomarudin Hai Kak, apabila kamu memiliki kendala atau pertanyaan silakan sampaikan pada mimin ya, terima kasih. -NT'],\n",
+       " ['@traveloka Tolong...'],\n",
+       " ['@warga_plus26 Sebenernya mimin juga lho Kak Gal😁 -KA'],\n",
+       " ['@traveloka Kangen promo penerbangan ke Bali lagi min ♌😁'],\n",
+       " ['@lightbluesvv Saluttt sama kakaknya😁🙌🙌🙌 -KA'],\n",
+       " ['@traveloka Karena promo-promo kaliaannn😂'],\n",
+       " ['@traveloka boleh² aja min asal ada pap karena no pic = hoax'],\n",
+       " ['@yazwang Setelah mimin cek harga penerbangan dewasa dan anak sama Kak. Namun, harga yang tertera mengikuti yang diberikan maskapai ke Traveloka Kak. Terima kasih -DZ'],\n",
+       " ['@traveloka Saya no debat ya bapak ibu, saya capek abis terombang ambing dilautan Maluku 27 jam, saya sudah dapat hotel lain, saya mau istirahat, no rekening sudah saya DM makasih ya'],\n",
+       " ['@traveloka Untuk singapore airlines bagaimana kak? Apakah harga child sama dengan adult? Karena di web maskapai nya harga child lebih murah dari adult'],\n",
+       " ['@GebbyErcha Halo Kak. Sebelumnya mohon maaf atas kendala yang kamu alami. Silakan informasikan nomor pesanan Traveloka dengan 9 digit angka melalui DM. Terima kasih. -SC'],\n",
+       " ['@yazwang Hai Kak Wang, setiap maskapai punya kebijakan masing-masing terkait harga penumpang anak dan dewasa. Ada yang harganya sama dan ada yang berbeda ya Kak. Terima kasih -DZ']]"
+      ]
+     },
+     "execution_count": 10,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "tweets"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "sentiment_app",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.10.8"
+  },
+  "orig_nbformat": 4,
+  "vscode": {
+   "interpreter": {
+    "hash": "060cb0c314b72233d054837cbf7114a14e911c92ed126864d61595f4324447df"
+   }
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 2
+}

script/functions.py

@@ -0,0 +1,132 @@
+import pandas as pd
+import numpy as np
+import re
+import snscrape.modules.twitter as sntwitter
+from transformers import pipeline
+import plotly.express as px 
+import joblib
+from sklearn.metrics import classification_report,confusion_matrix 
+
+
+import nltk 
+nltk.download("punkt")
+nltk.download('stopwords')
+from nltk.tokenize import word_tokenize
+
+
+def get_tweets(username, length=10, option = None):
+    # Creating list to append tweet data to
+    query = username + " -filter:links filter:replies lang:id"
+    if option == "Advanced":
+        query = username
+    tweets = []
+    # Using TwitterSearchScraper to scrape
+    # Using TwitterSearchScraper to scrape
+    for i,tweet in enumerate(sntwitter.TwitterSearchScraper(query).get_items()):
+        if i>=length:
+            break
+        tweets.append([tweet.content])
+    
+    # Creating a dataframe from the tweets list above
+    tweets_df = pd.DataFrame(tweets, columns=["content"])
+    tweets_df['content'] = tweets_df['content'].str.replace('@[^\s]+','')
+    tweets_df['content'] = tweets_df['content'].str.replace('#[^\s]+','')
+    tweets_df['content'] = tweets_df['content'].str.replace('http\S+','')
+    tweets_df['content'] = tweets_df['content'].str.replace('pic.twitter.com\S+','')
+    tweets_df['content'] = tweets_df['content'].str.replace('RT','')
+    tweets_df['content'] = tweets_df['content'].str.replace('amp','')
+    # remove emoticon
+    tweets_df['content'] = tweets_df['content'].str.replace('[^\w\s#@/:%.,_-]', '', flags=re.UNICODE)
+
+    # remove whitespace leading & trailing
+    tweets_df['content'] = tweets_df['content'].str.strip()
+
+    # remove multiple whitespace into single whitespace
+    tweets_df['content'] = tweets_df['content'].str.replace('\s+', ' ')
+
+    # remove row with empty content
+    tweets_df = tweets_df[tweets_df['content'] != '']
+    return tweets_df
+
+
+def get_sentiment(df,option_model):
+    id2label = {0: "negatif", 1: "netral", 2: "positif"}
+    if option_model == "IndoBERT (Accurate,Slow)":
+        classifier = pipeline("sentiment-analysis",model = "indobert")
+        df['sentiment'] = df['content'].apply(lambda x:  id2label[classifier(x)[0]['label']])
+    elif (option_model == "Logistic Regression (Less Accurate,Fast)"):
+        df_model = joblib.load('assets/df_model.pkl')
+        classifier = df_model[df_model.model_name == "Logistic Regression"].model.values[0]
+        df['sentiment'] = df['content'].apply(lambda x:  id2label[classifier.predict([x])[0]])
+    else :
+        df_model = joblib.load('assets/df_model.pkl')
+        classifier = df_model[df_model.model_name == option_model].model.values[0]
+        df['sentiment'] = df['content'].apply(lambda x:  id2label[classifier.predict([x])[0]])
+    # change order sentiment to first column
+    cols = df.columns.tolist()
+    cols = cols[-1:] + cols[:-1]
+    df = df[cols]
+
+    return df
+
+def get_bar_chart(df):
+    df= df.groupby(['sentiment']).count().reset_index()
+    # plot barchart sentiment
+   # plot barchart sentiment
+    fig = px.bar(df, x="sentiment", y="content", color="sentiment",text = "content", color_discrete_map={"positif": "#00cc96", "negatif": "#ef553b","netral": "#636efa"})
+    # hide legend
+    fig.update_layout(showlegend=False)
+    # set margin top 
+    fig.update_layout(margin=dict(t=0, b=150, l=0, r=0))
+    # set title in center
+    # set annotation in bar
+    fig.update_traces(textposition='outside')
+    fig.update_layout(uniformtext_minsize=8, uniformtext_mode='hide')
+
+    # set y axis title
+    fig.update_yaxes(title_text='Jumlah Komentar')
+
+    return fig
+
+def plot_model_summary(df_model):
+    df_scatter = df_model[df_model.set_data == "test"][["score","time","model_name"]]
+    # plot scatter
+    fig = px.scatter(df_scatter, x="time", y="score", color="model_name", hover_data=['model_name'])
+    # set xlabel to time (s)
+    fig.update_xaxes(title_text="time (s)")
+    # set ylabel to accuracy 
+    fig.update_yaxes(title_text="accuracy")
+
+    # set point size 
+    fig.update_traces(marker=dict(size=10))
+    fig.update_layout(autosize = False,margin=dict(t=0, l=0, r=0),height = 400)
+    return fig
+
+def plot_clfr(df_model,option_model,df):
+    df_clfr = pd.DataFrame(classification_report(df["label"],df[f"{option_model}_pred"],output_dict=True)) 
+    # heatmap using plotly 
+    df_clfr.columns = ["positif","netral","negatif","accuracy","macro_avg","weighted_avg"]
+    fig = px.imshow(df_clfr.T.iloc[:,:-1], x=df_clfr.T.iloc[:,:-1].columns, y=df_clfr.T.iloc[:,:-1].index)
+    # remove colorbar
+    fig.update_layout(coloraxis_showscale=False)
+    fig.update_layout(coloraxis_colorscale='gnbu')
+    # get annot
+    annot = df_clfr.T.iloc[:,:-1].values
+    # add annot and set font size 
+    fig.update_traces(text=annot, texttemplate='%{text:.2f}',textfont_size=12)
+    # set title to classification report 
+    fig.update_layout(title_text="📄 Classification Report")
+    return fig
+
+def plot_confusion_matrix(df_model,option_model,df):
+    # plot confusion matrix 
+    cm = confusion_matrix(df['label'],df[f"{option_model}_pred"])
+    fig = px.imshow(cm, x=['negatif','netral','positif'], y=['negatif','netral','positif'])
+    # remove colorbar
+    fig.update_layout(coloraxis_showscale=False)
+    fig.update_layout(coloraxis_colorscale='gnbu',title_text = "📊 Confusion Matrix")
+    # get annot
+    annot = cm
+    # add annot
+    fig.update_traces(text=annot, texttemplate='%{text:.0f}',textfont_size=15)
+    return fig

script/plotting.py

@@ -0,0 +1,116 @@
+import itertools
+import numpy as np
+from typing import List
+
+import plotly.graph_objects as go
+from plotly.subplots import make_subplots
+
+
+def visualize_barchart(topic_model,
+                       topics: List[int] = None,
+                       top_n_topics: int = 8,
+                       n_words: int = 5,
+                       custom_labels: bool = False,
+                       title: str = "Kata Kunci tiap Topic",
+                       width: int = 250,
+                       height: int = 250) -> go.Figure:
+    """ Visualize a barchart of selected topics
+    Arguments:
+        topic_model: A fitted BERTopic instance.
+        topics: A selection of topics to visualize.
+        top_n_topics: Only select the top n most frequent topics.
+        n_words: Number of words to show in a topic
+        custom_labels: Whether to use custom topic labels that were defined using 
+                       `topic_model.set_topic_labels`.
+        title: Title of the plot.
+        width: The width of each figure.
+        height: The height of each figure.
+    Returns:
+        fig: A plotly figure
+    Examples:
+    To visualize the barchart of selected topics
+    simply run:
+    ```python
+    topic_model.visualize_barchart()
+    ```
+    Or if you want to save the resulting figure:
+    ```python
+    fig = topic_model.visualize_barchart()
+    fig.write_html("path/to/file.html")
+    ```
+    <iframe src="../../getting_started/visualization/bar_chart.html"
+    style="width:1100px; height: 660px; border: 0px;""></iframe>
+    """
+    colors = itertools.cycle(['#636EFA', '#EF553B', '#00CC96', '#AB63FA', '#FFA15A', '#19D3F3', '#FF6692', '#B6E880', '#FF97FF', '#FECB52'])
+
+    # Select topics based on top_n and topics args
+    freq_df = topic_model.get_topic_freq()
+    if len(freq_df) > 1:
+        freq_df = freq_df.loc[freq_df.Topic != -1, :]
+    if topics is not None:
+        topics = list(topics)
+    elif top_n_topics is not None:
+        topics = sorted(freq_df.Topic.to_list()[:top_n_topics])
+    else:
+        topics = sorted(freq_df.Topic.to_list()[0:6])
+
+    # Initialize figure
+    if topic_model.custom_labels_ is not None and custom_labels:
+        subplot_titles = [topic_model.custom_labels_[topic + topic_model._outliers] for topic in topics]
+    else:
+        subplot_titles = [f"Topic {topic}" for topic in topics]
+    columns = 3
+    rows = int(np.ceil(len(topics) / columns))
+    fig = make_subplots(rows=rows,
+                        cols=columns,
+                        shared_xaxes=False,
+                        horizontal_spacing=.1,
+                        vertical_spacing=.4 / rows if rows > 1 else 0,
+                        subplot_titles=subplot_titles)
+
+    # Add barchart for each topic
+    row = 1
+    column = 1
+    for topic in topics:
+        words = [word + "  " for word, _ in topic_model.get_topic(topic)][:n_words][::-1]
+        scores = [score for _, score in topic_model.get_topic(topic)][:n_words][::-1]
+
+        fig.add_trace(
+            go.Bar(x=scores,
+                   y=words,
+                   orientation='h',
+                   marker_color=next(colors)),
+            row=row, col=column)
+
+        if column == columns:
+            column = 1
+            row += 1
+        else:
+            column += 1
+
+    # Stylize graph
+    fig.update_layout(
+        
+        showlegend=False,
+        title={
+            'text': f"<b>{title}",
+            'xanchor': 'center',
+            'yanchor': 'top',
+            'font': dict(
+                size=22,
+                color="Black")
+        },
+        width=width*3,
+        height=height*rows if rows > 1 else height * 1.3,
+        hoverlabel=dict(
+            bgcolor="white",
+            font_size=13,
+            font_family="Rockwell"
+        ),
+        margin=dict(l=40, r=40)
+    )
+
+    fig.update_xaxes(showgrid=True)
+    fig.update_yaxes(showgrid=True)
+
+    return fig

script/text_proc.py

@@ -0,0 +1,107 @@
+import pandas as pd
+import numpy as np 
+from PIL import Image
+import plotly.express as px
+from wordcloud import WordCloud
+import matplotlib.pyplot as plt
+import string 
+import re #regex library
+#umap 
+import umap
+import hdbscan
+import plotly.graph_objects as go
+from bertopic import BERTopic
+from sklearn.feature_extraction.text import CountVectorizer
+
+# import word_tokenize from NLTK
+from transformers import AutoTokenizer
+from script.plotting import visualize_barchart
+
+def load_stopwords():
+    stopwords = pd.read_csv("assets/stopwordbahasa.csv", header=None)
+    stopwords = stopwords[0].tolist()
+    stopwords = stopwords + list(string.punctuation)
+    return stopwords
+
+def tokenisasi(df):
+    stopwords = load_stopwords()
+    tokenizer = AutoTokenizer.from_pretrained('indobert')
+    tokens = df.content.apply(lambda x: tokenizer.tokenize(x))
+    tokens = tokens.apply(lambda x: [x for x in x if (not x.startswith('##') and x not in stopwords and len(x) > 4)])
+    return tokens
+
+def get_wordcloud(df,kelas_sentiment):
+    mask = np.array(Image.open('./assets/twitter.png'))
+    cmap_dict = {'positif': 'YlGn', 'negatif': 'OrRd', 'netral': 'GnBu'}
+    tokens = tokenisasi(df[df.sentiment == kelas_sentiment])
+    tokens = tokens.apply(lambda x: ' '.join(x))
+    text = ' '.join(tokens)
+    # check if text empty or not 
+    try :
+        wordcloud = WordCloud(width = 800, height = 800,
+                        background_color ='black',
+                        min_font_size = 10,
+                        colormap = cmap_dict[kelas_sentiment],
+                        mask = mask).generate(text)
+    except: 
+        wordcloud = WordCloud(width = 800, height = 800,
+                        background_color ='black',
+                        min_font_size = 10,
+                        colormap = cmap_dict[kelas_sentiment],
+                        mask = mask).generate("None")
+    return wordcloud
+
+def plot_text(df,kelas,embedding_model):
+    df = df[df.sentiment == kelas]
+    data = embedding_model.encode(df.values.tolist())
+    umap_model = umap.UMAP(n_neighbors=min(df.shape[0],5),random_state = 42) 
+    umap_data = umap_model.fit_transform(data)
+    clusterer = hdbscan.HDBSCAN(min_cluster_size=round((df.shape[0])**(0.5)-1),min_samples=3)
+    clusterer.fit(umap_data)
+
+    labels = ['cluster ' + str(i) for i in clusterer.labels_]
+    # replace cluster -1 with outlier 
+    labels = ["outlier" if i == "cluster -1" else i for i in labels ]
+    text = df["content"].str.wrap(50).apply(lambda x: x.replace('\n', '<br>'))
+    
+    fig = px.scatter(x=umap_data[:,0], y=umap_data[:,1],color = clusterer.labels_)
+    # remove legend
+    fig = px.scatter(x=umap_data[:,0], y=umap_data[:,1],color = labels,text = text)
+    #set text color 
+    fig.update_traces(textfont_color='rgba(0,0,0,0)',marker_size = 8)
+    # set background color
+    fig.update_layout(plot_bgcolor='rgba(0,0,0,0)')
+    # set margin 
+    fig.update_layout(margin=dict(l=40, r=5, t=0, b=40))
+    # set axis color to grey
+    fig.update_xaxes(showgrid=False, zeroline=False, linecolor='rgb(200,200,200)')
+    fig.update_yaxes( zeroline=False, linecolor='rgb(200,200,200)')
+    # set font sans-serif
+    fig.update_layout(font_family="sans-serif")
+    # remove legend
+    fig.update_layout(showlegend=False)
+
+    # set legend title to cluster
+    return df["content"],data,fig
+
+def topic_modelling(df,embed_df):
+    data = df.apply(lambda x: ' '.join([w for w in x.split() if len(w)>3]))
+    stopwords = load_stopwords()
+    # remove empty data 
+    topic_model = BERTopic(
+        calculate_probabilities=True,
+        # cluster model 
+        hdbscan_model = hdbscan.HDBSCAN(min_cluster_size=5,prediction_data=True),
+        vectorizer_model=CountVectorizer(stop_words=stopwords),
+        language="indonesian",
+    )
+    topics, probs = topic_model.fit_transform(data,embed_df)
+    topic_labels = topic_model.generate_topic_labels(
+        topic_prefix = False,
+        separator = ", ",
+    )
+    topic_model.set_topic_labels(topic_labels)
+    fig = visualize_barchart(topic_model)
+    # set title to Kata Kunci tiap Topic 
+    # fig.update_layout(title_text="Topic yang sering muncul")
+    return fig,topic_model

sentence_bert/1_Pooling/config.json

@@ -0,0 +1,7 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false
+}

sentence_bert/README.md

@@ -0,0 +1,136 @@
+---
+pipeline_tag: sentence-similarity
+tags:
+- sentence-transformers
+- feature-extraction
+- sentence-similarity
+- transformers
+
+---
+
+# indo-sentence-bert-base
+
+This is a [sentence-transformers](https://www.SBERT.net) model: It maps sentences & paragraphs to a 768 dimensional dense vector space and can be used for tasks like clustering or semantic search.
+
+<!--- Describe your model here -->
+
+## Usage (Sentence-Transformers)
+
+Using this model becomes easy when you have [sentence-transformers](https://www.SBERT.net) installed:
+
+```
+pip install -U sentence-transformers
+```
+
+Then you can use the model like this:
+
+```python
+from sentence_transformers import SentenceTransformer
+sentences = ["Ibukota Perancis adalah Paris", 
+            "Menara Eifel terletak di Paris, Perancis", 
+            "Pizza adalah makanan khas Italia", 
+            "Saya kuliah di Carneige Mellon University"]
+
+model = SentenceTransformer('firqaaa/indo-sentence-bert-base')
+embeddings = model.encode(sentences)
+print(embeddings)
+```
+
+
+
+## Usage (HuggingFace Transformers)
+Without [sentence-transformers](https://www.SBERT.net), you can use the model like this: First, you pass your input through the transformer model, then you have to apply the right pooling-operation on-top of the contextualized word embeddings.
+
+```python
+from transformers import AutoTokenizer, AutoModel
+import torch
+
+
+#Mean Pooling - Take attention mask into account for correct averaging
+def mean_pooling(model_output, attention_mask):
+    token_embeddings = model_output[0] #First element of model_output contains all token embeddings
+    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
+    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)
+
+
+# Sentences we want sentence embeddings for
+sentences = ["Ibukota Perancis adalah Paris", 
+             "Menara Eifel terletak di Paris, Perancis", 
+             "Pizza adalah makanan khas Italia", 
+             "Saya kuliah di Carneige Mellon University"]
+
+
+# Load model from HuggingFace Hub
+tokenizer = AutoTokenizer.from_pretrained('firqaaa/indo-sentence-bert-base')
+model = AutoModel.from_pretrained('firqaaa/indo-sentence-bert-base')
+
+# Tokenize sentences
+encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')
+
+# Compute token embeddings
+with torch.no_grad():
+    model_output = model(**encoded_input)
+
+# Perform pooling. In this case, mean pooling.
+sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])
+
+print("Sentence embeddings:")
+print(sentence_embeddings)
+```
+
+
+
+## Evaluation Results
+
+<!--- Describe how your model was evaluated -->
+
+For an automated evaluation of this model, see the *Sentence Embeddings Benchmark*: [https://seb.sbert.net](https://seb.sbert.net?model_name={MODEL_NAME})
+
+
+## Training
+The model was trained with the parameters:
+
+**DataLoader**:
+
+`sentence_transformers.datasets.NoDuplicatesDataLoader.NoDuplicatesDataLoader` of length 19644 with parameters:
+```
+{'batch_size': 16}
+```
+
+**Loss**:
+
+`sentence_transformers.losses.MultipleNegativesRankingLoss.MultipleNegativesRankingLoss` with parameters:
+  ```
+  {'scale': 20.0, 'similarity_fct': 'cos_sim'}
+  ```
+
+Parameters of the fit()-Method:
+```
+{
+    "epochs": 5,
+    "evaluation_steps": 0,
+    "evaluator": "NoneType",
+    "max_grad_norm": 1,
+    "optimizer_class": "<class 'torch.optim.adamw.AdamW'>",
+    "optimizer_params": {
+        "lr": 2e-05
+    },
+    "scheduler": "WarmupLinear",
+    "steps_per_epoch": null,
+    "warmup_steps": 9930,
+    "weight_decay": 0.01
+}
+```
+
+
+## Full Model Architecture
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False})
+)
+```
+
+## Citing & Authors
+
+<!--- Describe where people can find more information -->

sentence_bert/config.json

@@ -0,0 +1,47 @@
+{
+  "_name_or_path": "C:\\Users\\syair dafiq/.cache\\torch\\sentence_transformers\\firqaaa_indo-sentence-bert-base\\",
+  "_num_labels": 5,
+  "architectures": [
+    "BertModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "classifier_dropout": null,
+  "directionality": "bidi",
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "id2label": {
+    "0": "LABEL_0",
+    "1": "LABEL_1",
+    "2": "LABEL_2",
+    "3": "LABEL_3",
+    "4": "LABEL_4"
+  },
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "label2id": {
+    "LABEL_0": 0,
+    "LABEL_1": 1,
+    "LABEL_2": 2,
+    "LABEL_3": 3,
+    "LABEL_4": 4
+  },
+  "layer_norm_eps": 1e-12,
+  "max_position_embeddings": 512,
+  "model_type": "bert",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "output_past": true,
+  "pad_token_id": 0,
+  "pooler_fc_size": 768,
+  "pooler_num_attention_heads": 12,
+  "pooler_num_fc_layers": 3,
+  "pooler_size_per_head": 128,
+  "pooler_type": "first_token_transform",
+  "position_embedding_type": "absolute",
+  "torch_dtype": "float32",
+  "transformers_version": "4.25.1",
+  "type_vocab_size": 2,
+  "use_cache": true,
+  "vocab_size": 50000
+}

sentence_bert/config_sentence_transformers.json

@@ -0,0 +1,7 @@
+{
+  "__version__": {
+    "sentence_transformers": "2.2.2",
+    "transformers": "4.20.1",
+    "pytorch": "1.11.0"
+  }
+}

sentence_bert/modules.json

@@ -0,0 +1,14 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  }
+]

sentence_bert/pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:531e8399cbb7941b3f71bb0dc25d6abf70805ef05342f603fb4d4f158ce54b6d
+size 497833773

sentence_bert/sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 512,
+  "do_lower_case": false
+}

sentence_bert/special_tokens_map.json

@@ -0,0 +1,7 @@
+{
+  "cls_token": "[CLS]",
+  "mask_token": "[MASK]",
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "unk_token": "[UNK]"
+}

sentence_bert/tokenizer_config.json

@@ -0,0 +1,16 @@
+{
+  "cls_token": "[CLS]",
+  "do_basic_tokenize": true,
+  "do_lower_case": true,
+  "mask_token": "[MASK]",
+  "model_max_length": 1000000000000000019884624838656,
+  "name_or_path": "C:\\Users\\syair dafiq/.cache\\torch\\sentence_transformers\\firqaaa_indo-sentence-bert-base\\",
+  "never_split": null,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "special_tokens_map_file": "/root/.cache/huggingface/transformers/b515a756d9ddf12a7a391ea596c488ac805f0576790934e590ce250a3e4ff056.dd8bd9bfd3664b530ea4e645105f557769387b3da9f79bdb55ed556bdd80611d",
+  "strip_accents": null,
+  "tokenize_chinese_chars": true,
+  "tokenizer_class": "BertTokenizer",
+  "unk_token": "[UNK]"
+}