Update app.py

app.py

@@ -1,160 +1,110 @@
+from transformers import pipeline, AutoModelForTokenClassification, AutoTokenizer, DebertaV2Tokenizer, DebertaV2Model
+import sentencepiece
 import streamlit as st
-from transformers import pipeline, AutoTokenizer, AutoModelForTokenClassification, AutoModelForSequenceClassification, AutoModelForCausalLM
 import pandas as pd
+import spacy
 
-# Uygulama sayfa ayarları
 st.set_page_config(layout="wide")
 
-# Örnek metin listesi
 example_list = [
-    "Mustafa Kemal Atatürk 1919 yılında Samsun'a çıktı.",
-    "Bugün hava çok güzel ve enerjik hissediyorum.",
-    "Yapay zeka ve makine öğrenimi hakkında birçok gelişme var."
+    "Mustafa Kemal Atatürk 1919 yılında Samsun'a çıktı.", 
+    """Mustafa Kemal Atatürk, Türk asker, devlet adamı ve Türkiye Cumhuriyeti'nin kurucusudur.
+Birinci Dünya Savaşı sırasında Osmanlı ordusunda görev yapan Atatürk, Çanakkale Cephesi'nde miralaylığa, Sina ve Filistin Cephesi'nde ise Yıldırım Orduları komutanlığına atandı. Savaşın sonunda, Osmanlı Imparatorluğu'nun yenilgisini takiben Kurtuluş Savaşı ile simgelenen Türk Ulusal Hareketi'ne öncülük ve önderlik etti. Türk Kurtuluş Savaşı sürecinde Ankara Hükümeti'ni kurdu, Türk Orduları Başkomutanı olarak Sakarya Meydan Muharebesi'ndeki başarısından dolayı 19 Eylül 1921 tarihinde "Gazi" unvanını aldı ve mareşallik rütbesine yükseldi. Askeri ve siyasi eylemleriyle İtilaf Devletleri ve destekçilerine karşı zafer kazandı. Savaşın ardından Cumhuriyet Halk Partisi'ni Halk Fırkası adıyla kurdu ve ilk genel başkanı oldu. 29 Ekim 1923'te Cumhuriyetin ilanı akabinde Cumhurbaşkanı seçildi. 1938'deki ölümüne dek dört dönem bu görevi yürüterek Türkiye'de en uzun süre cumhurbaşkanlığı yapmış kişi oldu."""
 ]
 
-# Uygulama başlığı
-st.title("NLP Toolkit")
+st.title("Demo for Turkish NER Models")
 
-# Görev seçimi
-task_list = ['Metin Sınıflandırma', 'Metin Analizi', 'Duygu Analizi', 'Metin Oluşturma', 'Varlık Tanıma']
-task = st.sidebar.selectbox("Görev Seç", task_list)
+model_list = ['akdeniz27/bert-base-turkish-cased-ner',
+             'akdeniz27/convbert-base-turkish-cased-ner',
+             # 'akdeniz27/xlm-roberta-base-turkish-ner',
+             'xlm-roberta-large-finetuned-conll03-english',
+             'asahi417/tner-xlm-roberta-base-ontonotes5']
 
-# Metin giriş yöntemi
-st.subheader("Metin Giriş Yöntemi Seç")
-input_method = st.radio("", ('Örneklerden Seç', 'Metin Yaz veya Yapıştır'))
+st.sidebar.header("Select NER Model")
+model_checkpoint = st.sidebar.radio("", model_list)
 
-# Metin girişine göre seçim
-if input_method == 'Örneklerden Seç':
-    selected_text = st.selectbox('Metin Seç', example_list)
-    input_text = st.text_area("Seçilen Metin", selected_text, height=128)
-elif input_method == "Metin Yaz veya Yapıştır":
-    input_text = st.text_area('Metin Yaz veya Yapıştır', '', height=128)
+st.sidebar.write("For details of models: 'https://huggingface.co/akdeniz27/")
+st.sidebar.write("")
 
-@st.cache_resource
-def load_pipeline(model_name, task_type):
-    if task_type == "Metin Sınıflandırma":
-        model = AutoModelForSequenceClassification.from_pretrained("nlptown/bert-base-multilingual-uncased-sentiment")
-        tokenizer = AutoTokenizer.from_pretrained("nlptown/bert-base-multilingual-uncased-sentiment")
-        return pipeline('text-classification', model=model, tokenizer=tokenizer)
-    elif task_type == "Metin Analizi":
-        model = AutoModelForTokenClassification.from_pretrained("dbmdz/bert-base-turkish-cased")
-        tokenizer = AutoTokenizer.from_pretrained("dbmdz/bert-base-turkish-cased")
-        return pipeline('ner', model=model, tokenizer=tokenizer)
-    elif task_type == "Duygu Analizi":
-        model = AutoModelForSequenceClassification.from_pretrained("cardiffnlp/twitter-roberta-base-sentiment")
-        tokenizer = AutoTokenizer.from_pretrained("cardiffnlp/twitter-roberta-base-sentiment")
-        return pipeline('sentiment-analysis', model=model, tokenizer=tokenizer)
-    elif task_type == "Metin Oluşturma":
-        model = AutoModelForCausalLM.from_pretrained("gpt2")
-        tokenizer = AutoTokenizer.from_pretrained("gpt2")
-        return pipeline('text-generation', model=model, tokenizer=tokenizer)
-
-# Görev ve modele göre pipeline yükleme
-model_dict = {
-    "Metin Sınıflandırma": "nlptown/bert-base-multilingual-uncased-sentiment",
-    "Metin Analizi": "dbmdz/bert-base-turkish-cased",
-    "Duygu Analizi": "cardiffnlp/twitter-roberta-base-sentiment",
-    "Metin Oluşturma": "gpt2",
-    "Varlık Tanıma": "dbmdz/bert-base-turkish-cased"
-}
+if model_checkpoint == "akdeniz27/xlm-roberta-base-turkish-ner":
+    aggregation = "simple"
+elif model_checkpoint == "xlm-roberta-large-finetuned-conll03-english" or model_checkpoint == "asahi417/tner-xlm-roberta-base-ontonotes5":
+    aggregation = "simple"
+    st.sidebar.write("")
+    st.sidebar.write("The selected NER model is included just to show the zero-shot transfer learning capability of XLM-Roberta pretrained language model.")
+else:
+    aggregation = "first"
+    
+st.subheader("Select Text Input Method")
+input_method = st.radio("", ('Select from Examples', 'Write or Paste New Text'))
+if input_method == 'Select from Examples':
+    selected_text = st.selectbox('Select Text from List', example_list, index=0, key=1)
+    st.subheader("Text to Run")
+    input_text = st.text_area("Selected Text", selected_text, height=128, max_chars=None, key=2)
+elif input_method == "Write or Paste New Text":
+    st.subheader("Text to Run")
+    input_text = st.text_area('Write or Paste Text Below', value="", height=128, max_chars=None, key=2)
 
-pipeline_model = load_pipeline(model_dict[task], task)
+@st.cache_resource
+def setModel(model_checkpoint, aggregation):
+    model = AutoModelForTokenClassification.from_pretrained(model_checkpoint)
+    tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
+    return pipeline('ner', model=model, tokenizer=tokenizer, aggregation_strategy=aggregation)
 
-def process_entities(entities, text):
-    """
-    Varlıkları birleştirip anlamlı bir şekilde düzenler.
-    """
-    processed_entities = []
-    current_entity = None
+@st.cache_resource
+def get_html(html: str):
+    WRAPPER = """<div style="overflow-x: auto; border: 1px solid #e6e9ef; border-radius: 0.25rem; padding: 1rem; margin-bottom: 2.5rem">{}</div>"""
+    html = html.replace("\n", " ")
+    return WRAPPER.format(html)
     
-    for entity in entities:
-        if entity['entity'].startswith('I-'):
-            if current_entity and current_entity['label'] == entity['entity']:
-                current_entity['word'] += entity['word'].replace('##', '')
-                current_entity['end'] = entity['end']
-                current_entity['score'] = max(current_entity['score'], entity['score'])
-            else:
-                if current_entity:
-                    processed_entities.append(current_entity)
-                current_entity = {
-                    'label': entity['entity'],
-                    'word': entity['word'].replace('##', ''),
-                    'start': entity['start'],
-                    'end': entity['end'],
-                    'score': entity['score']
-                }
+@st.cache_resource
+def entity_comb(output):
+    output_comb = []
+    for ind, entity in enumerate(output):
+        if ind == 0:
+            output_comb.append(entity)
+        elif output[ind]["start"] == output[ind-1]["end"] and output[ind]["entity_group"] == output[ind-1]["entity_group"]:
+            output_comb[-1]["word"] = output_comb[-1]["word"] + output[ind]["word"]
+            output_comb[-1]["end"] = output[ind]["end"]
         else:
-            if current_entity:
-                processed_entities.append(current_entity)
-                current_entity = None
-    if current_entity:
-        processed_entities.append(current_entity)
-    
-    return processed_entities
-
-if st.button("Çalıştır") and input_text:
-    if task in ["Metin Sınıflandırma", "Duygu Analizi"]:
-        output = pipeline_model(input_text)
-        df = pd.DataFrame(output)
-        st.subheader(f"{task} Sonuçları")
-        st.dataframe(df)
-    elif task == "Metin Analizi":
-        output = pipeline_model(input_text)
+            output_comb.append(entity)
+    return output_comb
         
-        # Çıktıyı gözlemleme
-        st.write(output)
+Run_Button = st.button("Run", key=None)
 
-        # Varlıkları işlemek için uygun formatı kontrol edin
-        if len(output) > 0 and 'entity' in output[0]:
-            # Process entities
-            processed_entities = []
-            for entity in output:
-                word = entity['word']
-                label = entity['entity']
-                score = entity['score']
-                start = entity['start']
-                end = entity['end']
-                processed_entities.append({
-                    'word': word,
-                    'label': label,
-                    'score': score,
-                    'start': start,
-                    'end': end
-                })
+if Run_Button and input_text != "":
+    
+    ner_pipeline = setModel(model_checkpoint, aggregation)
+    output = ner_pipeline(input_text)
+    
+    output_comb = entity_comb(output)
+    
+    df = pd.DataFrame.from_dict(output_comb)
+    cols_to_keep = ['word','entity_group','score','start','end']
+    df_final = df[cols_to_keep]
+    
+    st.subheader("Recognized Entities")
+    st.dataframe(df_final)
 
-            # Aggregate entities
-            df = pd.DataFrame(process_entities(processed_entities, input_text))
-            st.subheader("Tanımlanan Varlıklar")
-            st.dataframe(df)
-            
-            # Metni formatla
-            def format_text(text_data, original_text):
-                formatted_text = ""
-                last_end = 0
-                for item in text_data:
-                    if item['start'] > last_end:
-                        formatted_text += original_text[last_end:item['start']]
-                    word = item['word']
-                    label = item['label']
-                    score = item['score']
-                    if label.startswith('I-PER'):
-                        color = 'blue'
-                    elif label.startswith('I-MISC'):
-                        color = 'green'
-                    else:
-                        color = 'gray'
-                    formatted_text += f"<span style='color:{color}; font-weight: bold;'>{word} ({label}, {score:.2f})</span>"
-                    last_end = item['end']
-                if last_end < len(original_text):
-                    formatted_text += original_text[last_end:]
-                return formatted_text
+    st.subheader("Spacy Style Display")
+    spacy_display = {}
+    spacy_display["ents"] = []
+    spacy_display["text"] = input_text
+    spacy_display["title"] = None
 
-            formatted_text = format_text(process_entities(processed_entities, input_text), input_text)
-            st.subheader("Analiz Edilen Metin")
-            st.markdown(f"<p>{formatted_text}</p>", unsafe_allow_html=True)
+    for entity in output_comb:
+        spacy_display["ents"].append({"start": entity["start"], "end": entity["end"], "label": entity["entity_group"]})
+        
+    tner_entity_list = ["person", "group", "facility", "organization", "geopolitical area", "location", "product", "event", "work of art", "law", "language", "date", "time", "percent", "money", "quantity", "ordinal number", "cardinal number"]
+    spacy_entity_list = ["PERSON", "NORP", "FAC", "ORG", "GPE", "LOC", "PRODUCT", "EVENT", "WORK_OF_ART", "LAW", "LANGUAGE", "DATE", "TIME", "PERCENT", "MONEY", "QUANTITY", "ORDINAL", "CARDINAL", "MISC"]
+    
+    for ent in spacy_display["ents"]:
+        if model_checkpoint == "asahi417/tner-xlm-roberta-base-ontonotes5":
+            ent["label"] = spacy_entity_list[tner_entity_list.index(ent["label"])]
         else:
-            st.error("Varlık analizi sonucu beklenen formatta değil.")
-    elif task == "Metin Oluşturma":
-        output = pipeline_model(input_text, max_length=100, num_return_sequences=1)
-        st.subheader("Oluşturulan Metin")
-        st.write(output[0]['generated_text'])
+            if ent["label"] == "PER": ent["label"] = "PERSON"
+    
+    # colors = {'PER': '#85DCDF', 'LOC': '#DF85DC', 'ORG': '#DCDF85', 'MISC': '#85ABDF',}
+    html = spacy.displacy.render(spacy_display, style="ent", minify=True, manual=True, options={"ents": spacy_entity_list}) # , "colors": colors})
+    style = "<style>mark.entity { display: inline-block }</style>"
+    st.write(f"{style}{get_html(html)}", unsafe_allow_html=True)