initial push

app.py

@@ -0,0 +1,204 @@
+# streamlit run app.py
+#------------------------------------------------------------------------------
+#------------------------------------------------------------------------------
+
+import streamlit as st 
+import spacy 
+import spacy_streamlit
+from io import StringIO
+import pandas as pd
+
+#Funktion, die eine Liste zu einem String umwandelt
+def listToString(s):
+    str1 = ""
+    for ele in s:
+        str1 += ele
+    return str1
+
+#Funktion, um einen Dataframe in einer csv zu speichern
+def convert_df(df):
+    return df.to_csv(index=False).encode('utf-8')
+
+#------------------------------------------------------------------------------
+#------------------------------------------------------------------------------
+
+#Styling: Seitentitel, Favicon, etc. 
+st.set_page_config(page_title='NerDH Visualisierer', page_icon='img/favicon.ico')
+st.markdown(""" <style> 
+        #MainMenu {visibility: hidden;} 
+        footer {visibility: hidden;} 
+        </style> """, unsafe_allow_html=True)
+st.markdown('## NER-Visualisierer für deutsche (historische) Texte')
+
+#------------------------------------------------------------------------------
+#------------------------------------------------------------------------------
+
+#Spacy-Modell auswählen 
+model = "de_history_md"
+model = st.sidebar.selectbox("Wähle ein Modell:", ["de_history_md", "de_core_news_sm", "de_core_news_md", "de_core_news_lg"], key="model")
+with st.spinner('Modell wird geladen...'):
+    nlp = spacy.load(model)
+st.success('Modell ist geladen!')
+
+#Informationen über die verschiedenen Modelle
+if model == "de_history_md":
+    with st.sidebar.expander("Über das Modell"):
+        st.write("""
+            Das Modell basiert auf frühneuhochdeutschen Texten der digitalen Edition **Philipp Hainhofer: *Reiseberichte & Sammlungsbeschreibungen 1594-1636*** (https://hainhofer.hab.de/). 
+            \n Trainiert wurde das Modell mit der Pipeline der Python Bibliothek [Spacy](https://spacy.io/). Das Modell kann [hier](https://github.com/easyh/NerDH/releases/latest/download/de_history_md-0.0.1.tar.gz) (586MB) heruntergeladen und als Python-Package installiert werden.
+            Bei der Evaluation mit den Testdaten schnitt das Modell mit einem F-Score von **0.89** ziemlich gut ab.
+            \n Mehr Informationen zum Prozess des Trainings etc. gibt es [hier](https://easyh.github.io/NerDH/tut/).
+        """)
+    with st.sidebar.expander("Named Entities Labels"):
+        st.write("""
+            **PERSON:** Einzelperson oder Familie
+            \n**ORT:** Geographische Einheit, d. h. Länder, Städte, Staaten.
+            \n**ORGANISATION:** Institutionen,(Ordens-)Gemeinschaften, Verbindungen, etc.
+            \n**OBJEKT:** Architektur, Gebäude, Kunst, etc.       
+            \n**ZEIT:** Datum, Monat, Jahr, Uhrzeit 
+            \n**LITERATUR:** Bücher mit eindeutigem Namen (z.B. Das Alte Testament)
+            """)
+elif model == "de_core_news_sm":
+    with st.sidebar.expander("Über das Modell"):
+            st.write("""
+                Das kleinste deutsche Spacy Modell mit nur 13MB. Grund dafür sind die fehlenden Worteinbettungen (Word-Vectors). Trainiert wurde das Modell mit folgenden Quellen: [Tiger Corpus](), [Tiger2Dep]() und [WikiNER]().
+                Anwendungsbereich für das Modell sind haupsächtliche moderne Texte und News-Berichte (F-Score: 0.82).
+                Daher wird dieses Modell mit historischen Texten nicht wirklich gut abschneiden.
+                \n Mehr Informationen zum Prozess Modell gibts hier [hier](https://spacy.io/models/de#de_core_news_sm).
+            """)
+    with st.sidebar.expander("Named Entities Labels"):
+            st.write("""
+                **PER:** Einzelperson oder Familie
+                \n**LOC:** Geographische Einheit, d. h. Länder, Städte, Staaten.
+                \n**ORG:** Unternehmen, Agenturen, Institutionen, Regierungseinrichtungen
+                \n**MISC:** Gemischte Kategorie (Ereignisse, Nationalitäten, Kunstgegenstände)
+            """)
+elif model == "de_core_news_md":
+    with st.sidebar.expander("Über das Modell"):
+            st.write("""
+                Das mittlere deutsche Spacy Modell mit 42MB und 20.000 Worteinbettungen. Trainiert wurde das Modell mit folgenden Quellen: [Tiger Corpus](), [Tiger2Dep]() und [WikiNER]().
+                Anwendungsbereich für das Modell sind haupsächtliche moderne Texte und News-Berichte (F-Score: 0.84).
+                Daher wird dieses Modell mit historischen Texten nicht wirklich gut abschneiden.
+                \n Mehr Informationen zum Prozess Modell gibts hier [hier](https://spacy.io/models/de#de_core_news_md).
+            """)
+    with st.sidebar.expander("Named Entities Labels"):
+            st.write("""
+                 **PER:** Einzelperson oder Familie
+                \n**LOC:** Geographische Einheit, d. h. Länder, Städte, Staaten.
+                \n**ORG:** Unternehmen, Agenturen, Institutionen, Regierungseinrichtungen
+                \n**MISC:** Gemischte Kategorie (Ereignisse, Nationalitäten, Kunstgegenstände)
+            """)
+else: 
+    with st.sidebar.expander("Über das Modell"):
+        st.write("""
+        Das Größte von den drei deutschen Spacy Modellen mit 541MB und 500.000 Worteinbettungen. Trainiert wurde das Modell mit folgenden Quellen: [Tiger Corpus](), [Tiger2Dep]() und [WikiNER]().
+        Anwendungsbereich für das Modell sind haupsächtliche moderne Texte und News-Berichte (F-Score: 0.85).
+        Daher wird dieses Modell mit historischen Texten nicht wirklich gut abschneiden.
+        \n Mehr Informationen zum Prozess Modell gibts hier [hier](https://spacy.io/models/de#de_core_news_lg).
+        """)
+    with st.sidebar.expander("Named Entities Labels"):
+            st.write("""
+                 **PER:** Einzelperson oder Familie
+                \n**LOC:** Geographische Einheit, d. h. Länder, Städte, Staaten.
+                \n**ORG:** Unternehmen, Agenturen, Institutionen, Regierungseinrichtungen
+                \n**MISC:** Gemischte Kategorie (Ereignisse, Nationalitäten, Kunstgegenstände)
+            """)
+
+#------------------------------------------------------------------------------
+#------------------------------------------------------------------------------
+
+#Text hochladen 
+uploaded_file = st.file_uploader("Texte nur im .txt-Format und utf-8- oder utf-16 Kodierung hochladen.")
+#Standardtext im Textfeld
+DEFAULT_TEXT = """Vmb 12 Vhr bin Jch von Dachaw wider hinweck geritten, vnd vmb 3 Vhr zu Adelshausen, beÿ dem Hannß Wilhalm Hund, Jhrer Durchleucht Rath vnd Cammerer, eingekheret, welcher vermaint, mich v̈ber nacht zu behalten, Habe mich aber entschuldiget, vnd Jhme vnd seiner frawen versprochen, ainmal zu bequemberer zeit, mit meiner haußfrawen zu Jhm zu spatzirn. Jetzt allain ainen trunckh mit Jhme gethan, vnd vmb 4 Vhren wider fort auf Augspurg noch in die Vier meil geritten, vnd zu Abents nach 9 Vhr, Gott lob vnd danckh, glücklich vnd wol, vnd, obwol noch vnuerdienter, mit vil empfangener ehr zu Hauß ankommen."""
+
+#Einlesen des Textes
+with st.spinner("Text wird eingelesen..."):
+    UPLOADED_TEXT_list = []
+    if uploaded_file:
+        # To convert to a string based IO:
+        try:
+            stringio = StringIO(uploaded_file.getvalue().decode("utf-8"))
+        except:
+            stringio = StringIO(uploaded_file.getvalue().decode("utf-16"))
+        for line in stringio:       
+            read_text = str(line)
+            clean_text = read_text.replace("\n", " ")
+            UPLOADED_TEXT_list.append(clean_text)
+        UPLOADED_TEXT = listToString(UPLOADED_TEXT_list)    
+        text = st.text_area("Text hochladen oder ins Textfeld reinkopieren:", UPLOADED_TEXT, height=200)
+    else:
+        text = st.text_area("Text hochladen oder ins Textfeld reinkopieren:", DEFAULT_TEXT, height=200)
+st.success("Text ist eingelesen!")
+
+#------------------------------------------------------------------------------
+#------------------------------------------------------------------------------
+
+#Farben für die verschiedenen Entitäten 
+colors = {"PER": "#fdec3e", "PERSON": "#fdec3e", "LOC": "#7e56c2", "ORT": "#7e56c2", "ORG": "#209485" , "ORGANISATION": "#209485" , "MISC": "#eb4034",  "ZEIT": "#4c9c4b"}
+        #Spacy-Streamlit NER Visualizer
+
+#NER-Prozess wird gestartet, je nach Model werden hier die entsprechenden Entitäten gewechselt.
+with st.spinner('Named Entities werden gesucht...'):
+    doc = nlp(text)
+    if model == "de_history_md":    
+        spacy_streamlit.visualize_ner(doc, labels = ["PERSON", "ORT", "ORGANISATION", "OBJEKT", "LITERATUR", "ZEIT",], show_table=False,    colors = colors)
+    else: 
+        spacy_streamlit.visualize_ner(doc, labels = ["PER", "LOC", "ORG", "MISC"], show_table=False,    colors = colors)
+st.success('Suchprozess ist abgeschlossen!')
+
+#------------------------------------------------------------------------------
+#------------------------------------------------------------------------------
+
+#Um die NER-Ergebnisse downloaden zu können, werden die Entitäten in einer csv gespeichert
+results = []
+for ent in doc.ents:
+    results.append([ent.text,ent.label_])
+df_results = pd.DataFrame(results, columns = ['text', 'label'])
+csv = convert_df(df_results)
+
+#------------------------------------------------------------------------------
+#------------------------------------------------------------------------------
+
+#Download-Button 
+st.sidebar.markdown('\n\n')
+st.sidebar.markdown('''
+### NER-Ergebnnisse in einer .csv-Datei downloaden.
+Die Datei enthält alle Entitäts-Typen.
+''')
+st.sidebar.download_button( 
+    "Ergebnisse downloaden",
+   csv,
+   "ner_results.csv",
+   "text/csv",
+   key='download-csv'
+)
+
+#------------------------------------------------------------------------------
+#------------------------------------------------------------------------------
+
+#Referenzen über das Projekt
+st.sidebar.markdown('\n\n')
+st.sidebar.markdown('\n\n')
+with st.sidebar.expander("Referenzen"):
+    st.write('''
+    Github: https://github.com/easyh/NerDH\n
+    Spacy: https://spacy.io/\n
+    NerDH-Tutorial: https://easyh.github.io/NerDH/\n
+    Trainingsdaten: https://hainhofer.hab.de/
+    ''')
+
+#------------------------------------------------------------------------------
+#------------------------------------------------------------------------------
+
+#Button zurück zum NerDH Tutorial
+st.sidebar.markdown('\n\n')
+st.sidebar.write(f'''
+    <a target="_blank" href="https://easyh.github.io/NerDH/">
+        <button style="color:white;background-color: #209485;  border: none; display: inline-block; border-radius: 8px; padding: 10px 22px;">
+           Zurück zum Tutorial
+        </button>
+    </a>
+    ''',
+    unsafe_allow_html=True
+)

requirements.txt

@@ -0,0 +1,7 @@
+spacy>=3.0.0,<4.0.0
+spacy-streamlit
+pandas
+https://github.com/easyh/NerDH/releases/latest/download/de_history_md-0.0.1.tar.gz
+de_core_news_sm @ https://github.com/explosion/spacy-models/releases/download/de_core_news_sm-3.4.0/de_core_news_sm-3.4.0-py3-none-any.whl
+de_core_news_md @ https://github.com/explosion/spacy-models/releases/download/de_core_news_md-3.4.0/de_core_news_md-3.4.0-py3-none-any.whl
+de_core_news_lg @ https://github.com/explosion/spacy-models/releases/download/de_core_news_lg-3.4.0/de_core_news_lg-3.4.0-py3-none-any.whl