easyh commited on
Commit
ab87761
·
1 Parent(s): c032773

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +27 -7
app.py CHANGED
@@ -45,8 +45,9 @@ if model == "de_fnhd_nerdh":
45
  with st.sidebar.expander("Über das Modell"):
46
  st.write("""
47
  Das Modell basiert auf frühneuhochdeutschen Texten der digitalen Edition **Philipp Hainhofer: *Reiseberichte & Sammlungsbeschreibungen 1594-1636*** (https://hainhofer.hab.de/).
48
- \n Trainiert wurde das Modell mit der Pipeline der Python Bibliothek [Spacy](https://spacy.io/). Das Modell kann [hier](https://github.com/easyh/NerDH/releases/latest/download/de_history_md-0.0.1.tar.gz) (586MB) heruntergeladen und als Python-Package installiert werden.
49
- F-Score: **0.89**.
 
50
  \n Mehr Informationen zum Prozess des Trainings etc. gibt es [hier](https://easyh.github.io/NerDH/tut/).
51
  """)
52
  with st.sidebar.expander("Named Entities Labels"):
@@ -55,8 +56,7 @@ if model == "de_fnhd_nerdh":
55
  \n**ORT:** Geographische Einheit, d. h. Länder, Städte, Staaten oder Flüsse.
56
  \n**ORGANISATION:** Institutionen,(Ordens-)Gemeinschaften, Verbindungen, etc.
57
  \n**OBJEKT:** Architektur, Gebäude, Kunst, etc.
58
- \n**ZEIT:** Datum, Monat, Jahr, Uhrzeit
59
- \n**LITERATUR:** Bücher mit eindeutigem Namen (z.B. Das Alte Testament)
60
  """)
61
  elif model == "de_core_news_sm":
62
  with st.sidebar.expander("Über das Modell"):
@@ -64,7 +64,7 @@ elif model == "de_core_news_sm":
64
  Das kleinste deutsche Spacy Modell mit nur 13MB. Grund dafür sind die fehlenden Worteinbettungen (Word-Vectors). Trainiert wurde das Modell mit folgenden Quellen: [Tiger Corpus](), [Tiger2Dep]() und [WikiNER]().
65
  Anwendungsbereich für das Modell sind haupsächtliche moderne Texte und News-Berichte (F-Score: 0.82).
66
  Daher wird dieses Modell mit historischen Texten nicht wirklich gut abschneiden.
67
- \n Mehr Informationen zum Prozess Modell gibts hier [hier](https://spacy.io/models/de#de_core_news_sm).
68
  """)
69
  with st.sidebar.expander("Named Entities Labels"):
70
  st.write("""
@@ -79,7 +79,7 @@ elif model == "de_core_news_md":
79
  Das mittlere deutsche Spacy Modell mit 42MB und 20.000 Worteinbettungen. Trainiert wurde das Modell mit folgenden Quellen: [Tiger Corpus](), [Tiger2Dep]() und [WikiNER]().
80
  Anwendungsbereich für das Modell sind haupsächtliche moderne Texte und News-Berichte (F-Score: 0.84).
81
  Daher wird dieses Modell mit historischen Texten nicht wirklich gut abschneiden.
82
- \n Mehr Informationen zum Prozess Modell gibts hier [hier](https://spacy.io/models/de#de_core_news_md).
83
  """)
84
  with st.sidebar.expander("Named Entities Labels"):
85
  st.write("""
@@ -94,7 +94,7 @@ else:
94
  Das Größte von den drei deutschen Spacy Modellen mit 541MB und 500.000 Worteinbettungen. Trainiert wurde das Modell mit folgenden Quellen: [Tiger Corpus](), [Tiger2Dep]() und [WikiNER]().
95
  Anwendungsbereich für das Modell sind haupsächtliche moderne Texte und News-Berichte (F-Score: 0.85).
96
  Daher wird dieses Modell mit historischen Texten nicht wirklich gut abschneiden.
97
- \n Mehr Informationen zum Prozess Modell gibts hier [hier](https://spacy.io/models/de#de_core_news_lg).
98
  """)
99
  with st.sidebar.expander("Named Entities Labels"):
100
  st.write("""
@@ -104,6 +104,7 @@ else:
104
  \n**MISC:** Gemischte Kategorie (Ereignisse, Nationalitäten, Kunstgegenstände)
105
  """)
106
 
 
107
  #------------------------------------------------------------------------------
108
  #------------------------------------------------------------------------------
109
 
@@ -132,6 +133,7 @@ with st.spinner("Text wird eingelesen..."):
132
  text = st.text_area(" ", DEFAULT_TEXT, height=200)
133
  st.success("Text ist eingelesen!")
134
 
 
135
  #------------------------------------------------------------------------------
136
  #------------------------------------------------------------------------------
137
 
@@ -159,6 +161,24 @@ for ent in doc.ents:
159
  df_results = pd.DataFrame(results, columns = ['text', 'label'])
160
  csv = convert_df(df_results)
161
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
162
  #------------------------------------------------------------------------------
163
  #------------------------------------------------------------------------------
164
 
 
45
  with st.sidebar.expander("Über das Modell"):
46
  st.write("""
47
  Das Modell basiert auf frühneuhochdeutschen Texten der digitalen Edition **Philipp Hainhofer: *Reiseberichte & Sammlungsbeschreibungen 1594-1636*** (https://hainhofer.hab.de/).
48
+ \n Trainiert wurde das Modell mit der Pipeline der Python Bibliothek [Spacy](https://spacy.io/) und dem Text [**München 1611**](https://hainhofer.hab.de/reiseberichte/muenchen1611?v={%22view%22:%22info%22}).
49
+ \n Das Modell kann [hier](https://huggingface.co/easyh/de_fnhd_nerdh/resolve/main/de_fnhd_nerdh-any-py3-none-any.whl) (586MB) heruntergeladen und als Python-Package installiert werden.
50
+ \n F-Score: **0.92**. Dieser wurde getestet mit Texten aus der Edition.
51
  \n Mehr Informationen zum Prozess des Trainings etc. gibt es [hier](https://easyh.github.io/NerDH/tut/).
52
  """)
53
  with st.sidebar.expander("Named Entities Labels"):
 
56
  \n**ORT:** Geographische Einheit, d. h. Länder, Städte, Staaten oder Flüsse.
57
  \n**ORGANISATION:** Institutionen,(Ordens-)Gemeinschaften, Verbindungen, etc.
58
  \n**OBJEKT:** Architektur, Gebäude, Kunst, etc.
59
+ \n**ZEIT:** Datum, Monat, Jahr, Uhrzeit etc.
 
60
  """)
61
  elif model == "de_core_news_sm":
62
  with st.sidebar.expander("Über das Modell"):
 
64
  Das kleinste deutsche Spacy Modell mit nur 13MB. Grund dafür sind die fehlenden Worteinbettungen (Word-Vectors). Trainiert wurde das Modell mit folgenden Quellen: [Tiger Corpus](), [Tiger2Dep]() und [WikiNER]().
65
  Anwendungsbereich für das Modell sind haupsächtliche moderne Texte und News-Berichte (F-Score: 0.82).
66
  Daher wird dieses Modell mit historischen Texten nicht wirklich gut abschneiden.
67
+ \n Mehr Informationen zum Modell gibts hier [hier](https://spacy.io/models/de#de_core_news_sm).
68
  """)
69
  with st.sidebar.expander("Named Entities Labels"):
70
  st.write("""
 
79
  Das mittlere deutsche Spacy Modell mit 42MB und 20.000 Worteinbettungen. Trainiert wurde das Modell mit folgenden Quellen: [Tiger Corpus](), [Tiger2Dep]() und [WikiNER]().
80
  Anwendungsbereich für das Modell sind haupsächtliche moderne Texte und News-Berichte (F-Score: 0.84).
81
  Daher wird dieses Modell mit historischen Texten nicht wirklich gut abschneiden.
82
+ \n Mehr Informationen zum Modell gibts hier [hier](https://spacy.io/models/de#de_core_news_md).
83
  """)
84
  with st.sidebar.expander("Named Entities Labels"):
85
  st.write("""
 
94
  Das Größte von den drei deutschen Spacy Modellen mit 541MB und 500.000 Worteinbettungen. Trainiert wurde das Modell mit folgenden Quellen: [Tiger Corpus](), [Tiger2Dep]() und [WikiNER]().
95
  Anwendungsbereich für das Modell sind haupsächtliche moderne Texte und News-Berichte (F-Score: 0.85).
96
  Daher wird dieses Modell mit historischen Texten nicht wirklich gut abschneiden.
97
+ \n Mehr Informationen zum Modell gibts hier [hier](https://spacy.io/models/de#de_core_news_lg).
98
  """)
99
  with st.sidebar.expander("Named Entities Labels"):
100
  st.write("""
 
104
  \n**MISC:** Gemischte Kategorie (Ereignisse, Nationalitäten, Kunstgegenstände)
105
  """)
106
 
107
+ st.markdown('---')
108
  #------------------------------------------------------------------------------
109
  #------------------------------------------------------------------------------
110
 
 
133
  text = st.text_area(" ", DEFAULT_TEXT, height=200)
134
  st.success("Text ist eingelesen!")
135
 
136
+ st.markdown('---')
137
  #------------------------------------------------------------------------------
138
  #------------------------------------------------------------------------------
139
 
 
161
  df_results = pd.DataFrame(results, columns = ['text', 'label'])
162
  csv = convert_df(df_results)
163
 
164
+
165
+ #------------------------------------------------------------------------------
166
+ #------------------------------------------------------------------------------
167
+
168
+ #Modell in Python Umgebung installieren
169
+
170
+ if model == "de_fnhd_nerdh":
171
+ st.markdown('---') #### Modell in Python installieren und laden')
172
+ st.markdown('#### Modell in Python installieren und laden')
173
+ st.markdown('''
174
+ ```py
175
+ !pip install https://huggingface.co/easyh/de_fnhd_nerdh/resolve/main/de_fnhd_nerdh-any-py3-none-any.whl
176
+
177
+ import spacy
178
+ nlp = spacy.load("de_fnhd_nerdh")
179
+ ```
180
+ ''')
181
+
182
  #------------------------------------------------------------------------------
183
  #------------------------------------------------------------------------------
184