extract dates and times

.gitattributes

@@ -17,8 +17,6 @@
 *.ot filter=lfs diff=lfs merge=lfs -text
 *.parquet filter=lfs diff=lfs merge=lfs -text
 *.pb filter=lfs diff=lfs merge=lfs -text
-*.pickle filter=lfs diff=lfs merge=lfs -text
-*.pkl filter=lfs diff=lfs merge=lfs -text
 *.pt filter=lfs diff=lfs merge=lfs -text
 *.pth filter=lfs diff=lfs merge=lfs -text
 *.rar filter=lfs diff=lfs merge=lfs -text

.gitignore

@@ -1,3 +1,4 @@
 .idea
 .venv
-.env
+.env
+/src/nlp/playground/models/

pages/6_Pipeline.py

@@ -1,17 +1,29 @@
 import streamlit as st
 import streamlit.components.v1 as components
-
 from src.configuration.config import SessionStateConfig
-from src.nlp.playground.Event import Event
+from src.utils.Event import Event
 from src.nlp.playground.ner import GlinerHandler
+from src.nlp.playground.pipelines.date_extractor import DateTimeExtractor
 from src.nlp.playground.pipelines.description_extractor import DescriptionExtractor
-from src.nlp.playground.textclassification import ZeroShotClassifier, CategoryMode, CustomMode
+from src.nlp.playground.textclassification import ZeroShotClassifier, CustomMode
 from src.nlp.playground.pipelines.title_extractor import TitleExtractor
 from src.persistence.db import init_db
 from src.utils.apis.gpt_api import remove_boilerplate
-from src.utils.helpers import normalize_data
+from src.utils.helpers import normalize_data, clean_html
 from src.utils.markdown_processing.CustomMarkdownAnalyzer.MarkdownAnalyzer import MarkdownAnalyzer
 from src.utils.markdown_processing.md_preprocessing import convert_html_to_md
+import requests
+from bs4 import BeautifulSoup
+
+def scrape_url(url):
+    try:
+        response = requests.get(url)
+        response.raise_for_status()
+        soup = BeautifulSoup(response.text, 'html.parser')
+        cleaned_html = soup.prettify()
+        return cleaned_html
+    except requests.exceptions.RequestException as e:
+        return f"Fehler beim Abrufen der Seite: {e}"
 
 @st.cache_resource
 def init_connection():
@@ -30,108 +42,127 @@ if SessionStateConfig.ZERO_SHOT_CLASSIFIER not in st.session_state:
     st.session_state[SessionStateConfig.ZERO_SHOT_CLASSIFIER] = ZeroShotClassifier()
 if SessionStateConfig.GLINER_HANDLER not in st.session_state:
     st.session_state[SessionStateConfig.GLINER_HANDLER] = GlinerHandler()
+if "date_time_extractor" not in st.session_state:
+    st.session_state["date_time_extractor"] = DateTimeExtractor()
 
 db = init_connection()
 data = init_data()
-element = next(data,None)
+
+with st.form("url_form"):
+    url = st.text_input("Gebe eine URL einer Veranstaltungsseite ein (Oder leer lassen um Seite aus der Datenbank zu nehmen).")
+
+    submit_button = st.form_submit_button("Starte Pipeline")
+
+if submit_button:
+    if url:
+        html = scrape_url(url)
+        html = clean_html(html)
+    else:
+        element = next(data, None)
+        url = element["url"]
+        html = element["cleaned_html"]
+
 
 
-st.subheader("Bereinigtes HTML")
-st.write(element["url"])
-st.components.v1.html(element["cleaned_html"], height=500, scrolling=True)
+    st.subheader("Bereinigtes HTML")
+    st.write(url)
+    st.components.v1.html(html, height=500, scrolling=True)
 
-start_pipeline = st.button("Starte Pipeline")
-if element:
     title_extractor = st.session_state.title_extractor
     description_extractor = st.session_state.description_extractor
     classifier = st.session_state[SessionStateConfig.ZERO_SHOT_CLASSIFIER]
     gliner_handler = st.session_state.gliner_handler
-    if start_pipeline:
-        html = element["cleaned_html"]
-        md = convert_html_to_md(html)
-        with st.expander("Markdown"):
-            with st.container(border=True, height=400):
-                st.markdown(md)
-        with st.expander("Markdown Code"):
-            with st.container(height=400):
-                st.code(md)
-
-        cleaned_md = remove_boilerplate(md)
-        st.info("Remove boilerplate with GPT API")
-        with st.expander("Gekürztes Markdown"):
-            with st.container(border=True, height=400):
-                st.markdown(cleaned_md)
-
-        normalized_md = normalize_data(cleaned_md)
-        with st.expander("Normalisiertes Markdown"):
-            with st.container(border=True, height=400):
-                st.markdown(normalized_md)
-
-
-        text = normalized_md
-        analyzer = MarkdownAnalyzer(text)
-        results = analyzer.identify_all()["block_elements"]
-        table_data = [{"Class": r.__class__.__name__, "Markdown": r.markdown} for r in results]
-        with st.expander("Markdown Elemente"):
-            st.table(table_data)
-
-        with st.expander("Markdown Segmente"):
-            segments = analyzer.segmentation()
-            for s in segments:
-                with st.container(border=True):
-                    for e in s:
-                        st.markdown(e.markdown)
-
-        extracted_event = Event()
-
-        st.info("Extracting title...")
-        extracted_event.title = title_extractor.extract_title(cleaned_md)
-
-        # extracted_event.categories = ZeroShotClassifier().classify(text, CategoryMode())
-        extracted_event.categories = []
-        st.info("Extracting Categories...")
-        family_category = [cat.label for cat in classifier.classify(text,CustomMode(["Kinder_und_Familie","Adults_only"],"Die Veranstaltung ist für {}")) if cat.score >= 0.8]
-        topic_category = [classifier.classify(text,CustomMode(
-            ["Kunst","Kultur", "Musik", "Sport", "Bildung", "Tanz", "Wissenschaft", "Unterhaltung", "Gesundheit", "Wellness", "Business", "Politik","Religion"],
-            "In der Veranstaltung geht es um {}"))[0].label]
-        type_category = [classifier.classify(text,CustomMode(
-            ["Oper", "Theater", "Konzert", "Gottesdienst", "Ausstellung", "Museum", "Planetarium", "Führung", "Film", "Vortrag", "Show", "Turnier", "Wettkampf", "Markt", "Feier", "Party"],
-            "Die Art der Veranstaltung ist {}"))[0].label]
-        time_category = [classifier.classify(text,CustomMode(
-            ["Mehrere Tage","Einen Tag"],
-            "Die Veranstaltung findet über {} statt."))[0].label]
-
-        extracted_event.categories.extend(family_category)
-        extracted_event.categories.extend(topic_category)
-        extracted_event.categories.extend(type_category)
-        extracted_event.categories.extend(time_category)
-
-        st.info("Extracting Organizer and Location...")
-        entities = gliner_handler.extract_entities(text, ["EVENT_ORGANIZER","EVENT_LOCATION_NAME","EVENT_ADDRESS"])
-        extracted_event.organizers = list(set([item["text"] for item in entities if item["label"] == "EVENT_ORGANIZER"]))
-        extracted_event.locations = list(set([item["text"] for item in entities if item["label"] == "EVENT_LOCATION_NAME"]))
-        extracted_event.address = list(set([item["text"] for item in entities if item["label"] == "EVENT_ADDRESS"]))
-        st.info("Extracting Price Information...")
-        price_entities = gliner_handler.extract_entities(text, ["KOSTEN"])
-        extracted_event.prices = list(set([item["text"] for item in price_entities if any(char.isdigit() for char in item["text"])]))
-
-        st.info("Extracting Description...")
-        extracted_event.description = description_extractor.extract_description(text, extracted_event.title)
-
-        event_data = []
-        event_data.append({'Field': 'Title', 'Value': extracted_event.title})
-        event_data.append({'Field': 'Categories', 'Value': ", ".join(extracted_event.categories)})
-        event_data.append({'Field': 'Organizers', 'Value': ", ".join(extracted_event.organizers)})
-        event_data.append({'Field': 'Locations', 'Value': ", ".join(extracted_event.locations)})
-        event_data.append({'Field': 'Address', 'Value': ", ".join(extracted_event.address)})
-        event_data.append({'Field': 'Prices', 'Value': ", ".join(extracted_event.prices)})
-
-
-        st.subheader("Extrahierte Daten")
-        st.table(event_data)
-        st.write("Event Description:")
+    date_time_extractor = st.session_state.date_time_extractor
+
+    # html = element["cleaned_html"]
+    md = convert_html_to_md(html)
+    with st.expander("Markdown"):
+        with st.container(border=True, height=400):
+            st.markdown(md)
+    with st.expander("Markdown Code"):
+        with st.container(height=400):
+            st.code(md)
+
+    cleaned_md = remove_boilerplate(md)
+    st.info("Remove boilerplate with GPT API")
+    with st.expander("Gekürztes Markdown"):
+        with st.container(border=True, height=400):
+            st.markdown(cleaned_md)
+
+    normalized_md = normalize_data(cleaned_md)
+    with st.expander("Normalisiertes Markdown"):
         with st.container(border=True, height=400):
-            st.markdown(extracted_event.description)
+            st.markdown(normalized_md)
+
+
+    text = normalized_md
+    analyzer = MarkdownAnalyzer(text)
+    results = analyzer.identify_all()["block_elements"]
+    table_data = [{"Class": r.__class__.__name__, "Markdown": r.markdown} for r in results]
+    with st.expander("Markdown Elemente"):
+        st.table(table_data)
+
+    with st.expander("Markdown Segmente"):
+        segments = analyzer.segmentation()
+        for s in segments:
+            with st.container(border=True):
+                for e in s:
+                    st.markdown(e.markdown)
+
+    extracted_event = Event()
+
+    st.info("Extracting title...")
+    extracted_event.title = title_extractor.extract_title(cleaned_md)
+
+    # extracted_event.categories = ZeroShotClassifier().classify(text, CategoryMode())
+    extracted_event.categories = []
+    st.info("Extracting Categories...")
+    family_category = [cat.label for cat in classifier.classify(text,CustomMode(["Kinder_und_Familie","Adults_only"],"Die Veranstaltung ist für {}")) if cat.score >= 0.8]
+    topic_category = [classifier.classify(text,CustomMode(
+        ["Kunst","Kultur", "Musik", "Sport", "Bildung", "Tanz", "Wissenschaft", "Unterhaltung", "Gesundheit", "Wellness", "Business", "Politik","Religion"],
+        "In der Veranstaltung geht es um {}"))[0].label]
+    type_category = [classifier.classify(text,CustomMode(
+        ["Oper", "Theater", "Konzert", "Gottesdienst", "Ausstellung", "Museum", "Planetarium", "Führung", "Film", "Vortrag", "Show", "Turnier", "Wettkampf", "Markt", "Feier", "Party"],
+        "Die Art der Veranstaltung ist {}"))[0].label]
+    time_category = [classifier.classify(text,CustomMode(
+        ["Mehrere Tage","Einen Tag"],
+        "Die Veranstaltung findet über {} statt."))[0].label]
+
+    extracted_event.categories.extend(family_category)
+    extracted_event.categories.extend(topic_category)
+    extracted_event.categories.extend(type_category)
+    extracted_event.categories.extend(time_category)
+
+    st.info("Extracting Organizer and Location...")
+    entities = gliner_handler.extract_entities(text, ["EVENT_ORGANIZER","EVENT_LOCATION_NAME","EVENT_ADDRESS"])
+    extracted_event.organizers = list(set([item["text"] for item in entities if item["label"] == "EVENT_ORGANIZER"]))
+    extracted_event.locations = list(set([item["text"] for item in entities if item["label"] == "EVENT_LOCATION_NAME"]))
+    extracted_event.address = list(set([item["text"] for item in entities if item["label"] == "EVENT_ADDRESS"]))
+
+    st.info("Extracting Price Information...")
+    price_entities = gliner_handler.extract_entities(text, ["KOSTEN"])
+    extracted_event.prices = list(set([item["text"] for item in price_entities if any(char.isdigit() for char in item["text"])]))
+
+    st.info("Extracting Description...")
+    extracted_event.description = description_extractor.extract_description(cleaned_md, extracted_event.title)
+
+    st.info("Extracting Dates and Times...")
+    date_times = date_time_extractor.extract(cleaned_md)
+    st.write(date_times)
+    event_data = []
+    event_data.append({'Field': 'Title', 'Value': extracted_event.title})
+    event_data.append({'Field': 'Categories', 'Value': ", ".join(extracted_event.categories)})
+    event_data.append({'Field': 'Organizers', 'Value': ", ".join(extracted_event.organizers)})
+    event_data.append({'Field': 'Locations', 'Value': ", ".join(extracted_event.locations)})
+    event_data.append({'Field': 'Address', 'Value': ", ".join(extracted_event.address)})
+    event_data.append({'Field': 'Prices', 'Value': ", ".join(extracted_event.prices)})
+
+
+    st.subheader("Extrahierte Daten")
+    st.table(event_data)
+    st.write("Event Description:")
+    with st.container(border=True, height=400):
+        st.markdown(extracted_event.description)
 
 
 

src/nlp/experimental/custom_dependecy_parser.py

@@ -0,0 +1,92 @@
+# import spacy
+# from spacy import displacy
+# from spacy.training import Example
+# from spacy.tokens import Span
+#
+#
+# nlp = spacy.blank("de")  # Leeres Modell
+# config = {"moves": None}
+# parser = nlp.add_pipe("parser", config=config)
+#
+# # Definiere eigene Labels
+# for label in ["ROOT", "nsubj", "obl", "det", "case", "punct"]:
+#     parser.add_label(label)
+#
+# # Erstelle Trainingsdaten
+# TRAIN_DATA = [("Die Veranstaltung beginnt am 24.12.2025 um 16:00.",
+#                {"heads": [1, 2, 2, 2, 4, 5, 5, 2, 7],
+#                 "deps": ["det", "nsubj", "ROOT", "case", "obl", "case", "obl", "punct"]})]
+#
+# # Trainingspipeline starten
+# optimizer = nlp.begin_training()
+# for epoch in range(50):  # Mehr Epochen für bessere Ergebnisse
+#     for text, annotations in TRAIN_DATA:
+#         doc = nlp.make_doc(text)
+#         example = Example.from_dict(doc, annotations)
+#         nlp.update([example], drop=0.1, losses={})
+#
+
+
+
+
+
+
+import spacy
+from spacy.tokens import Doc
+from spacy.language import Language
+
+nlp = spacy.load("de_core_news_lg")
+
+@Language.component("custom_dependency_parser")
+def custom_dependency_parser(doc):
+    for token in doc:
+        # Falls ein Token eine Zeitangabe ist, hänge es an das nächste Verb
+        if token.ent_type_ in ["TIME", "DATE"]:
+            for child in token.children:
+                if child.pos_ == "VERB":
+                    token.head = child
+                    token.dep_ = "time_modifier"
+                    break
+    return doc
+
+# Füge den Custom Parser nach dem Standard-Parser hinzu
+nlp.add_pipe("custom_dependency_parser", after="parser")
+
+doc = nlp("Die Veranstaltung beginnt am 24.12.2025 um 16:00, der Einlass startet ab 15:00. Beginn: 20:00, Ende: 21:00, Einlass: 19:00")
+
+
+
+sub_sentences = []
+current_sentence = []
+
+for token in doc:
+    # Haupt-Subjekt identifizieren
+    if token.dep_ == "sb":
+        if current_sentence:  # Falls bereits Tokens gesammelt wurden, speichere den bisherigen Satz
+            sub_sentences.append(" ".join([t for t in current_sentence]))
+        current_sentence = [token.text]  # Starte einen neuen Satz
+    else:
+        current_sentence.append(token.text)
+
+# Letzten Satz hinzufügen
+if current_sentence:
+    sub_sentences.append(" ".join([t for t in current_sentence]))
+
+# Ausgabe der getrennten Sätze
+for i, sentence in enumerate(sub_sentences):
+    print(f"Satz {i+1}: {sentence}")
+
+# Erlaubte Dependency-Typen
+allowed_deps = {"sb", "oa", "da", "nk"}
+allowed_pos = {"NOUN", "PROPN"}  # Nomen & Eigennamen
+
+# Gefilterte Tokens
+filtered_tokens = [token for token in doc if token.dep_ in allowed_deps or token.pos_ in allowed_pos]
+print(filtered_tokens)
+
+# Ausgabe der Abhängigkeiten
+relations = []  # Hier speichern wir die gefundenen Relationen
+
+for token in doc:
+    print(f"{token.text} --({token.dep_})--> {token.head.text}")
+

src/nlp/experimental/textclassification/classy_classifier.py

@@ -416,7 +416,7 @@ test_data = {"Veranstaltungstitel": [d for d in test_data["Veranstaltungstitel"]
 # with open("./classifier.pkl", "wb") as f:
 #     pickle.dump(classifier, f)
 
-f = open("./classifier.pkl", "rb")
+f = open("../../playground/models/title_classifier.pkl", "rb")
 classifier = pickle.load(f)
 classifier("I am looking for kitchen appliances.")
 

src/nlp/experimental/textclassification/classy_classifier_date.py

@@ -10,7 +10,7 @@ from src.nlp.playground.textclassification import ZeroShotClassifier, CustomMode
 from src.utils.helpers import normalize_data
 from src.utils.markdown_processing.CustomMarkdownAnalyzer.MarkdownAnalyzer import MarkdownAnalyzer
 
-classifier_train_data = {
+date_classifier_train_data = {
     "EVENT_DATE": [
         "Termin: [DATE], 19:00",
         "[DATE]",
@@ -131,7 +131,101 @@ classifier_train_data = {
     ]
 }
 
+time_classifier_train_data = {
+    "EVENT_TIME": [
+        "**Wann?** 12.05.2024, 19:00-21:00",
+        "So. 12.08.2024 12:15 - 13:15 CET",
+        "13:00 - 14:00",
+"Termin: [DATE], 19:00",
+        "[DATE]",
+        "Unser Meetup ist am [DATE] um 18:30 Uhr.",
+        "Die Show findet am [DATE] um 20:00 Uhr statt.",
+        "Das Webinar beginnt am [DATE] um 16:00 Uhr.",
+        "Fußballspiel: [DATE], 15:30 Uhr",
+        "[DATE] um 20:00 Uhr",
+        "Termin: [DATE], 18:00 Uhr",
+        "Wann? [DATE], 19:00 bis 20:00 Uhr"
+        "Konzert am [DATE], 20:00 Uhr",
+        "Networking-Event am [DATE], 17:00 Uhr",
+        "Workshop: [DATE], 14:00 Uhr",
+        "Firmenfeier: [DATE] ab 18:30 Uhr",
+        "Seminar: [DATE], Beginn um 10:00 Uhr",
+        "Schulung am [DATE] um 15:00 Uhr",
+        "Jubiläumsfeier am [DATE], 19:30 Uhr",
+        "[DATE] 23:00",
+        "[DATE] 23:00",
+        "[DATE] 23:00",
+        "Datum: [DATE], Startzeit: 10:00, Endzeit: 12:00",
+        "Samstag, [DATE], Einlass: 15:59, Beginn: 17:30, Preis: 65,73 EUR",
+        "Samstag, [DATE], Einlass: 17:00, Beginn: 19:00, Preis: 74,99 EUR",
+        "Samstag, [DATE], Einlass: 18:00, Beginn: 20:00",
+        "Freitag, [DATE], Einlass: 17:00, Beginn: 19:00, Preis: 77,93 EUR",
+        "Samstag, [DATE], Einlass: 16:30, Beginn: 18:30, Preis: ab 69,99 Euro",
+        "Gestört aber GeiL – Das Festival • [DATE], 16:00 • Berlin",
+        "Samstag, [DATE], Einlass: 17:00, Beginn: 19:00",
+        "Kaufberatung: [DATE] um 19:00",
+        "Bedienung: [DATE] um 19:00",
+        "[DATE] Ganztägig",
+        "ab dem [DATE]",
+        "Mittwoch, [DATE], von 18:00-22:00",
+        "Mittwoch, [DATE], von 18:00-22:00",
+        "Augsburger Friedensgespräche am [DATE]",
+        "Augsburger Friedensgespräche am [DATE]",
+        "Augsburger Friedensgespräche am [DATE]",
+        "[DATE] - [DATE]",
+        "Am [DATE] endet der Weihnachtsmarkt bereits um 19:00.",
+        "Winzerglühwein Do [DATE] 17:00 - 19:00",
+        "Winzerglühwein Fr [DATE] 16:30 - 18:30",
+        "Winzerglühwein Sa [DATE] 15:30 - 15:30",
+        "Lessons and Carols Sa [DATE] 19:30 - 21:00",
+        "[DATE] - [DATE]",
+        "Vom [DATE] - [DATE]",
+        "[DATE] - [DATE]",
+        "Am [DATE] endet der Weihnachtsmarkt bereits um 19:00.",
+        "Do [DATE] 17:00 - 19:00",
+        "Fr [DATE] 16:30 - 18:30",
+        "Sa [DATE] 15:30 - 15:30",
+        "Sa [DATE] 19:30 - 21:00",
+        "[DATE]",
+        "[DATE] - [DATE]",
+        "[DATE]",
+        "[DATE]",
+        "[DATE] und [DATE]",
+        "[DATE]",
+        "[DATE] - [DATE]",
+        "Am [DATE] endet der Weihnachtsmarkt bereits um 19:00.",
+        "Vom [DATE] - [DATE]",
+        "[DATE] und [DATE]",
+        "Am [DATE] ab 19:00",
+        "Am [DATE] ab 19:00",
+        "Am [DATE]",
+        "[DATE]",
+        "[DATE]",
+        "[DATE]",
+        "[DATE] 16:00 – [DATE] 17:00",
+        "[DATE] 10:15 – [DATE] 12:30",
+        "[DATE] 10:00 – [DATE] 18:00",
+        "[DATE]",
+        "[DATE] 11:00 – [DATE] 18:00",
+        "[DATE] - [DATE]",
+        "[DATE] | 19:30",
+        "[DATE]",
+        "[DATE] bis einschließlich [DATE]",
+        "[DATE], [DATE], [DATE] und [DATE]",
+        "[DATE] 18:00",
+        "[DATE] 13:00-21:00",
 
+    ],
+    "OTHER":[
+        "Einlass: 19:00",
+        "Abendkasse ab 20:00 Uhr",
+        "Tageskarten können ab 18:00 Uhr gekauft werden.",
+        "Öffnungszeiten: Mo-Fr 09:00 - 17:00",
+        "Kartenverkauf ab 17:30 Uhr",
+        "Einlass beginnt um 18:45",
+        "Reservierung erforderlich bis 12:00 Uhr",
+    ]
+}
 
 nlp = spacy.blank("de")
 nlp.add_pipe('sentencizer')
@@ -170,7 +264,7 @@ ruler.add_patterns(patterns)
 
 # Prepare Training Data: Use Placeholders for Times and Dates
 classifier_train_data_cleaned = {"EVENT_DATE": [], "OTHER":[]}
-for text in classifier_train_data["EVENT_DATE"]:
+for text in date_classifier_train_data["EVENT_DATE"]:
     text = normalize_data(text)
     doc = nlp(text)
     for ent in doc.ents:
@@ -179,7 +273,7 @@ for text in classifier_train_data["EVENT_DATE"]:
         if ent.label_ == "TIME":
             text = text.replace(ent.text, "[TIME]")
     classifier_train_data_cleaned["EVENT_DATE"].append(text)
-for text in classifier_train_data["OTHER"]:
+for text in date_classifier_train_data["OTHER"]:
     text = normalize_data(text)
     doc = nlp(text)
     for ent in doc.ents:
@@ -193,51 +287,64 @@ for text in classifier_train_data["OTHER"]:
 classifier_train_data_cleaned["EVENT_DATE"] = list(set(classifier_train_data_cleaned["EVENT_DATE"]))
 classifier_train_data_cleaned["OTHER"] = list(set(classifier_train_data_cleaned["OTHER"]))
 print(classifier_train_data_cleaned["EVENT_DATE"])
+print(classifier_train_data_cleaned["OTHER"])
 
 classifier = ClassyClassifier(data=classifier_train_data_cleaned)
 classifier.set_embedding_model(model="stsb-xlm-r-multilingual")
+with open("../../playground/models/date_classifier.pkl", "wb") as f:
+    pickle.dump(classifier, f)
 
+zero_shot_classifier = ZeroShotClassifier()
+TEXTS = ["Tickets können ab dem 03.12.2020 erworben werden"]
 
 for text in TEXTS:
     text = normalize_data(text)
     analyzer = MarkdownAnalyzer(text)
+    print("*"*100)
+    print(text)
+    print("\n\n\n")
     md_elements = analyzer.identify_all().get("block_elements")
+    md_elements = []
+    dates = {"dates": [], "times": []}
     for md_element in md_elements:
         doc = nlp(md_element.text)
-
         # Prüfe Tokenisierung
         # print("Tokens:", [token.text for token in doc])
-
+        print(doc.ents)
         if doc.ents:
-            print("*" * 100)
-
-            # Extrahiere erkannte Entitäten
+            print(md_element.text)
             modified_text = md_element.text
+
+            # Replace TIME and DATE entities with placeholders
             for ent in doc.ents:
-                print(ent.text, ent.label_)
                 if ent.label_ == "DATE":
                     modified_text = modified_text.replace(ent.text, "[DATE]")
                 if ent.label_ == "TIME":
                     modified_text = modified_text.replace(ent.text, "[TIME]")
-            cats = classifier(modified_text)
-            print(modified_text)
-            print(f"{max(cats, key=cats.get)}")
-            print("*" * 100)
-
-
-# for text in test_data["EVENT_DATE"]:
-#     print(text)
-#     print("*"*100)
-#     # print(nlp(text)._.cats)
-#     cats = classifier(text)
-#     print(f"{max(cats,key=cats.get)}")
-#     print("*"*100)
-#
-# print("\n\n\n\n\n")
-# for text in test_data["OTHER"]:
-#     print(text)
-#     print("*"*100)
-#     # print(nlp(text)._.cats)
-#     cats = classifier(text)
-#     print(f"{max(cats,key=cats.get)}")
-#     print("*"*100)
+
+            date_entities = [ent.text for ent in doc.ents if ent.label_ == "DATE"]
+            # Classify Date category
+            if date_entities:
+                print("DATES: ",date_entities )
+                cats = classifier(modified_text)
+                date_category = max(cats, key=cats.get)
+                print("Date Category: ", date_category)
+                if date_category == "EVENT_DATE":
+                    dates["dates"].extend(date_entities)
+
+            time_entities = [ent.text for ent in doc.ents if ent.label_ == "TIME"]
+            if time_entities:
+                # Classify Time category
+                print("ZEITEN: ", time_entities)
+                time_category = zero_shot_classifier.classify(modified_text, CustomMode(
+                    labels=["BEGINN", "EINLASS", "ABLAUF"],
+                    hypothesis_template="Der Text geht um {} einer Veranstaltung"))[0].label
+                print("Time Category: ", time_category)
+                if time_category == "BEGINN":
+                    dates["times"].extend(time_entities)
+            print("\n")
+
+    print(dates)
+    print("*" * 100)
+
+

src/nlp/experimental/textclassification/classy_classifier_time.py

@@ -0,0 +1,154 @@
+from classy_classification import ClassyClassifier
+import pickle
+import spacy
+from spacy import displacy
+from spacy.tokenizer import Tokenizer
+from spacy.util import compile_prefix_regex, compile_suffix_regex, compile_infix_regex
+from nltk import Tree
+from src.nlp.data.test_texts import TEXTS
+from src.nlp.playground.textclassification import ZeroShotClassifier, CustomMode
+from src.utils.helpers import normalize_data
+from src.utils.markdown_processing.CustomMarkdownAnalyzer.MarkdownAnalyzer import MarkdownAnalyzer
+
+train_data = {
+  "EVENT_TIME": [
+    "Die Veranstaltung beginnt am 24.12.2025 16:00",
+    "Wann: 03.03.2020 16:00",
+    "25.04.2025 - 23.05.2020 , 15:00 - 16:00",
+    "22.06.2022 18:00",
+    "23.12.2030 17:00 - 18:00",
+    "12.05.2024 , 19:00 - 21:00",
+    "So. 12.08.2024 12:15 - 13:15",
+    "**24.12.2025 16:00 **",
+    "15.01.2025 18:00",
+    "18.01.2025 11:00 - 18:00",
+    "**Der Nikolaus kommt am Freitag 17:00 !**",
+    "Sa 12.00 + 16:00",
+    "So 12:00",
+    "Kindertheater Sa + So 15:00",
+    "| Beginn | Freitag 16:00 - 20:00",
+    "/ Samstag 11:00 - 20:00",
+    "/ Sonntag 11:00 - 18:00",
+    "19:00",
+    "Beginn: 15:00"
+  ],
+  "ADMITTANCE_TIME": [
+    "Einlass ist 15:00",
+    "Einlass ist 15:30",
+    "Einlass: 15:00",
+    "Abendkasse 14:30",
+    "Einlass: 14:30",
+    "Tageskasse 15:00 im Museum",
+    "Einlass beginnt um 16:00",
+    "Der Einlass erfolgt um 17:30",
+    "Zutritt ab 18:00",
+    "Gäste dürfen ab 14:45 eintreten",
+    "Türöffnung: 19:00",
+    "Einlass erfolgt ab 20:15",
+    "Einlass für VIPs: 13:30",
+    "Normaler Einlass: 16:45",
+    "Die Türen öffnen sich um 12:00",
+    "Zugang ab 17:00 möglich",
+    "Einlasskontrolle beginnt um 18:30",
+    "Einlass erst ab 19:15 gestattet"
+  ]
+}
+
+
+nlp = spacy.blank("de")
+nlp.add_pipe('sentencizer')
+
+# 1️⃣ Punkt als Suffix & Infix definieren (damit er zwischen Zahlen trennt)
+suffixes = list(nlp.Defaults.suffixes) + [r"\."]  # Punkt als Suffix hinzufügen
+infixes = list(nlp.Defaults.infixes) + [r"(?<=\d)\.(?=\d)"] + [r"(?<=\d)\:(?=\d)"]  # Punkt zwischen Zahlen trennen
+
+
+# Regex-Objekte kompilieren
+suffix_re = compile_suffix_regex(suffixes)
+infix_re = compile_infix_regex(infixes)
+
+# Angepasste Tokenizer-Funktion setzen
+nlp.tokenizer = Tokenizer(nlp.vocab, suffix_search=suffix_re.search, infix_finditer=infix_re.finditer)
+# 2️⃣ Entity Ruler für Datumsangaben hinzufügen
+ruler = nlp.add_pipe("entity_ruler")
+
+patterns = [
+    {
+        "label": "DATE",
+        "pattern": [
+            {"SHAPE": "dd"}, {"ORTH": "."}, {"SHAPE": "dd"}, {"ORTH": "."}, {"SHAPE": "dddd"}
+        ]
+    },
+    {
+        "label": "TIME",
+        "pattern": [
+            {"SHAPE": "dd"}, {"ORTH": ":"}, {"SHAPE": "dd"}
+        ]
+    }
+]
+
+ruler.add_patterns(patterns)
+
+
+# Prepare Training Data: Use Placeholders for Times and Dates
+classifier_train_data_cleaned = {"EVENT_TIME": [], "ADMITTANCE_TIME": []}
+for text in train_data["EVENT_TIME"]:
+    text = normalize_data(text)
+    doc = nlp(text)
+    for ent in doc.ents:
+        if ent.label_ == "DATE":
+            text = text.replace(ent.text, "[DATE]")
+        if ent.label_ == "TIME":
+            text = text.replace(ent.text, "[TIME]")
+    classifier_train_data_cleaned["EVENT_TIME"].append(text)
+for text in train_data["ADMITTANCE_TIME"]:
+    text = normalize_data(text)
+    doc = nlp(text)
+    for ent in doc.ents:
+        if ent.label_ == "DATE":
+            text = text.replace(ent.text, "[DATE]")
+        if ent.label_ == "TIME":
+            text = text.replace(ent.text, "[TIME]")
+    classifier_train_data_cleaned["ADMITTANCE_TIME"].append(text)
+
+# remove duplicates
+classifier_train_data_cleaned["EVENT_TIME"] = list(set(classifier_train_data_cleaned["EVENT_TIME"]))
+classifier_train_data_cleaned["ADMITTANCE_TIME"] = list(set(classifier_train_data_cleaned["ADMITTANCE_TIME"]))
+
+
+classifier = ClassyClassifier(data=classifier_train_data_cleaned)
+classifier.set_embedding_model(model="stsb-xlm-r-multilingual")
+with open("../../playground/models/time_classifier.pkl", "wb") as f:
+    pickle.dump(classifier, f)
+
+TEXTS = ["Einlass: ab 15:00", "Beginn: 18:00", "Konzert: 20:00 bis 21:00", "Start: 20:00, Ende: 21:00"]
+
+for text in TEXTS:
+    print(text)
+    text = normalize_data(text)
+    analyzer = MarkdownAnalyzer(text)
+
+    md_elements = analyzer.identify_all().get("block_elements")
+    dates = {"dates": [], "times": []}
+    for md_element in md_elements:
+        doc = nlp(md_element.text)
+        # Prüfe Tokenisierung
+        # print("Tokens:", [token.text for token in doc])
+        if doc.ents:
+            print("Found Entities: ", doc.ents)
+            modified_text = md_element.text
+
+            # Replace TIME and DATE entities with placeholders
+            for ent in doc.ents:
+                if ent.label_ == "DATE":
+                    modified_text = modified_text.replace(ent.text, "[DATE]")
+                if ent.label_ == "TIME":
+                    modified_text = modified_text.replace(ent.text, "[TIME]")
+
+            cats = classifier(modified_text)
+            time_category = max(cats, key=cats.get)
+            print(time_category)
+            print("*"*100)
+
+
+

src/nlp/playground/pipelines/date_extractor.py

@@ -0,0 +1,282 @@
+import pickle
+import os
+from dotenv import load_dotenv
+import spacy
+from spacy.util import  compile_suffix_regex, compile_infix_regex
+from spacy.tokenizer import Tokenizer
+from spacy.language import Language
+
+from src.nlp.data.test_texts import TEXTS
+from src.nlp.playground.textclassification import ZeroShotClassifier, CustomMode
+from src.utils.helpers import normalize_data
+from src.utils.markdown_processing.CustomMarkdownAnalyzer.MarkdownAnalyzer import MarkdownAnalyzer
+from spacy.tokens import Span
+from huggingface_hub import hf_hub_download
+import joblib
+from huggingface_hub import login
+
+load_dotenv()
+token = os.getenv("HUGGING_FACE_SPACES_TOKEN")
+login(token=token)
+
+
+class NLPProcessor:
+    def __init__(self, language="de"):
+        self.nlp = spacy.blank(language)
+        self._configure_pipeline()
+
+    def _configure_pipeline(self):
+        self.nlp.add_pipe("sentencizer", config={"punct_chars": [".", "!", "?"]})
+        self.nlp.add_pipe("custom_sentence_boundary", after="sentencizer")
+        self._setup_tokenizer()
+        self._setup_entity_ruler()
+
+    def _setup_tokenizer(self):
+        suffixes = list(self.nlp.Defaults.suffixes) + [r"\.", r"\,"]
+        infixes = list(self.nlp.Defaults.infixes) + [r"(?<=\d)\.(?=\d)", r"(?<=\d)\:(?=\d)"]
+
+        suffix_re = compile_suffix_regex(suffixes)
+        infix_re = compile_infix_regex(infixes)
+
+        self.nlp.tokenizer = Tokenizer(self.nlp.vocab, suffix_search=suffix_re.search, infix_finditer=infix_re.finditer)
+
+    def _setup_entity_ruler(self):
+        ruler = self.nlp.add_pipe("entity_ruler")
+        ruler.add_patterns([
+            {"label": "DATE", "pattern": [{"SHAPE": "dd"}, {"ORTH": "."}, {"SHAPE": "dd"}, {"ORTH": "."}, {"SHAPE": "dddd"}]},
+            {"label": "TIME", "pattern": [{"SHAPE": "dd"}, {"ORTH": ":"}, {"SHAPE": "dd"}]}
+        ])
+
+    @staticmethod
+    @Language.component("custom_sentence_boundary")
+    def custom_sentence_boundary(doc):
+        for token in doc[:-1]:
+            if token.text.endswith(".") and token.nbor(1).is_digit:
+                doc[token.i + 1].is_sent_start = False
+        return doc
+
+class Token:
+    def __init__(self, text):
+        self.text = text
+
+    def __repr__(self):
+        return self.text
+
+class DateTimeExtractor(NLPProcessor):
+    def __init__(self):
+        super().__init__()
+        self.date_classifier = self._load_classifier("adojode/date_classifier","date_classifier")
+        self.time_classifier = self._load_classifier("adojode/time_classifier","time_classifier")
+
+    @staticmethod
+    def _load_classifier(repo_id,model_name):
+        # classifier_path = os.path.join(os.path.dirname(__file__), model_name + ".pkl")
+        # with open(classifier_path, "rb") as f:
+        #     return pickle.load(f)
+        return joblib.load(
+            hf_hub_download(repo_id=repo_id, filename=model_name + ".pkl")
+        )
+
+    def __extract_tokens_between_entities(self, doc):
+        entities = list(doc.ents)  # Alle Entitäten im Text
+        tokens_between = []
+
+        if len(entities) < 2:
+            return tokens_between  # Wenn es weniger als 2 Entitäten gibt, gibt es kein "Dazwischen"
+
+        for i in range(len(entities) - 1):
+            ent1 = entities[i]
+            ent2 = entities[i + 1]
+
+            # Speichere nur Tokens zwischen ent1 und ent2
+            tokens_between.append(doc[ent1.end:ent2.start])
+
+        return tokens_between
+
+    def __find_strong_relations(self, sequence):
+        sequence = [s for s in sequence if len(s.text)>1]
+        strong_relations = []
+        curr_relation = [sequence[0]]
+        sequence.pop(0)
+        for i,token in enumerate(sequence):
+            if isinstance(token, Span):
+                label = token.label_
+                curr_relation.append(token)
+            elif i+1 < len(sequence):
+                if isinstance(sequence[i+1], Span):
+                    strong_relations.append(curr_relation)
+                    curr_relation=[token]
+                else:
+                    curr_relation.append(token)
+        strong_relations.append(curr_relation)
+
+        return strong_relations
+
+    def __preprocess(self, text):
+        text = normalize_data(text)
+        replacements = {" und ": " + ", " bis ": " - ", " um ": " ", " ab ": " "}
+        for old, new in replacements.items():
+            text = text.replace(old, new)
+        return text
+
+    def text_segmentation(self, text):
+        analyzer = MarkdownAnalyzer(text)
+        md_elements = analyzer.identify_all().get("block_elements")
+        segments = []
+        for element in md_elements:
+            text = self.__preprocess(element.text)
+            # text = remove_stopwords(text)
+            doc = self.nlp(text)
+            for sent in doc.sents:
+                doc_small = self.nlp(sent.text)
+                if doc_small.ents:
+
+                    if len(doc_small.ents) == 1:
+                        entity = doc_small.ents[0]
+                        before = Token(text=doc_small[:entity.start].text) if entity.start > 0 else None
+                        entity_token = entity  # Die Entität bleibt als eigenes Token
+                        after = Token(text=doc_small[entity.end:].text) if entity.end < len(doc_small) else None
+
+                        # Erstelle das Segment mit separater Entität
+                        segment = [t for t in [before, entity_token, after] if t]  # Entferne None-Werte
+                        segments.append(segment)
+                        continue
+
+                    tokens_between_entities = self.__extract_tokens_between_entities(doc_small)
+
+                    sequence = [Token(text=doc_small[:doc_small.ents[0].start].text)]
+                    entities = list(doc_small.ents)
+                    # entities = [Entity(e.text, e.label_) for e in doc_small.ents]
+                    sequence.append(entities[0])
+                    for i, tokens in enumerate(tokens_between_entities):
+                        connector = tokens.text.strip()
+                        if len(connector) > 1:
+                            if "," in connector:
+                                sequence.extend([Token(text=c) for c in connector.split(",")])
+                            else:
+                                sequence.extend([Token(text=c) for c in connector.split("+")])
+                        else:
+                            sequence.append(Token(connector))
+                        sequence.append(entities[i + 1])
+                    sequence.append(Token(doc_small[doc_small.ents[len(entities) - 1].end:].text))
+
+                    strong_relations = self.__find_strong_relations(sequence)
+                    final_relations = []
+                    remaining_sequence = sequence[:]  # Eine Kopie von `sequence` behalten
+
+                    for relation in strong_relations:
+                        complete_group = []
+                        for r in relation:
+                            if r.text in [s.text for s in remaining_sequence]:
+                                i = remaining_sequence.index(r)  # Index in der verbleibenden Liste finden
+                                s = remaining_sequence[:i]  # Alles davor nehmen
+                                complete_group.extend(s)  # In die aktuelle Gruppe packen
+                                complete_group.append(r)  # Das aktuelle `r` hinzufügen
+                                remaining_sequence = remaining_sequence[i + 1:]  # Kürze die Liste ab
+                            else:
+                                print(f"Warnung: '{r}' nicht in der verbleibenden Sequence gefunden!")
+
+                        final_relations.append(complete_group)
+                    segments.extend(final_relations)
+        return segments
+
+    def extract(self,text):
+        segments = self.text_segmentation(text)
+        date_times = []
+        for segment in segments:
+            context = " ".join([s.text for s in segment])
+
+            classifier_input = self.prepare_for_classifier(context)
+
+            # doc = self.nlp(" ".join([s.text for s in segment]))
+            date_entities = [token for token in segment if isinstance(token, spacy.tokens.Span) and token.label_ == "DATE"]
+            time_entities = [token for token in segment if isinstance(token, spacy.tokens.Span) and token.label_ == "TIME"]
+            if date_entities:
+                date_time = {}
+                print("Textsegment: ", context)
+                date_class = self.date_classifier(classifier_input)
+                best_label, best_score = max(date_class.items(), key=lambda x: x[1])
+                if best_label == "EVENT_DATE" and best_score > 0.8:
+                    print("Datum: ",date_entities)
+                    date_time["dates"] = date_entities
+                    print(f"Label: {best_label}, Score: {best_score:.4f}")
+                    if time_entities:
+                        print("Uhrzeit:", time_entities)
+                        date_time["times"] = time_entities
+                    date_times.append(date_time)
+            elif time_entities:
+                date_time = {}
+                print("Textsegment ", context)
+                time_class = self.time_classifier(classifier_input)
+                best_label, best_score = max(time_class.items(), key=lambda x: x[1])
+                print(best_label, " ", best_score)
+                if best_label == "EVENT_TIME" and best_score > 0.8:
+                    date_time["times"] = time_entities
+                else:
+                    print("Einlass Zeit:", time_entities)
+                    date_time["admittance"] = time_entities
+                date_times.append(date_time)
+        return date_times
+
+    def prepare_for_classifier(self,text):
+        doc = self.nlp(text)
+        for ent in doc.ents:
+            if ent.label_ == "DATE":
+                text = text.replace(ent.text, "[DATE]")
+            if ent.label_ == "TIME":
+                text = text.replace(ent.text, "[TIME]")
+        return text
+
+# texts = [
+#     "Tickets können ab dem 03.12.2020 erworben werden und die Veranstaltung startet um 15:00",
+#     "Am 01.01.2020 findet die Veranstaltung statt, Einlass ist um 15:00",
+#     "** Die Veranstaltung beginnt am 24.12.2025 um 16:00, Einlass ist ab 15:30. **",
+#     "Wann: 03.03.2020 16:00, Einlass: 15:00",
+#     "Wann? 25.04.2025 - 23.05.2020, 15:00 bis 16:00. Abendkasse ab 14:30",
+#     """
+#     Termine: \n
+#     23.05.2024 19:00 \n
+#     22.06.2022 18:00 \n
+#     23.12.2030 17:00-18:00
+#     """,
+#     "#  Technik-Salon an der TIB: „FLY ROCKET FLY“\n\nÜber den Aufstieg und Fall des Raketenpioniers Lutz Kayser – ein Film- und\nGesprächsabend mit dem Dokumentarfilmer Oliver Schwehm\n\nEin Start-Up aus dem Schwäbischen, 170 Millionen D-Mark Wagniskapital, ein\nprivates Testgelände im afrikanischen Dschungel – so trat Lutz Kayser in den\n1970 er-Jahren an, die Raumfahrt zu revolutionieren.\n\nWarum das gut hätten klappen können und schließlich doch scheiterte, schildert\nOliver Schwehm in seiner bildreichen Dokumentation. Im Rahmen der\nJubiläumstour zu Ehren von Lutz Kayser („50 Jahre OTRAG – Oribital Transport\nund Raketen AG“) machen Film und Regisseur am 05.12.2024 im Technik-\nSalon Station in der TIB in Hannover. Der Eintritt für die Veranstaltung „FLY\nROCKET FLY“ ist frei (Spendenbox).\n\n**Wann?** 05.12.2024, 19:00-21:00  \n**Wo?** Lesesaal im Marstallgebäude, TIB\n\n",
+#     "#  7. Workshop Retrodigitalisierung\n\nThema: Digitalisierte Sammlungen präsentieren – Konzeptionierung, Darstellung\nund Vermittlung\n\nDer siebte Workshop Retrodigitalisierung findet am 20.03.2025 und 21.03.2025 bei\nZB MED – Informationszentrum Lebenswissenschaften in Köln statt. Er richtet\nsich an Praktiker:innen, die sich in Bibliotheken mit der Retrodigitalisierung\nbefassen. Wie in den Vorjahren bietet der Workshop ein breites Spektrum an\ninteressanten Vorträgen zur Praxis der Retrodigitalisierung. Dafür brauchen\nwir Sie und Ihre Einreichungen!\n\nIm Fokus des nächsten Workshops steht die zeitgemäße Präsentation\ndigitalisierter Sammlungen. Das Programm widmet sich insbesondere den Themen\nKonzeptionierung, Darstellung und Vermittlung von digitalisierten Sammlungen\nund Beständen über die Präsentationsplattformen der Einrichtungen rund um die\nNutzung von Digitalisaten.\n\nDer Call for Presentations läuft noch bis zum 18.10.2024. Wir freuen uns\nauf Ihren Beitrag!\n\nDer Workshop Retrodigitalisierung wird gemeinsam von den drei deutschen\nZentralen Fachbibliotheken TIB – Leibniz-Informationszentrum Technik und\nNaturwissenschaften, ZB MED – Informationszentrum Lebenswissenschaften und ZBW\n– Leibniz-Informationszentrum Wirtschaft sowie der Staatsbibliothek zu Berlin\n– Preußischer Kulturbesitz durchgeführt.\n\n**Wann?** 20.03.2025 - 21.03.2025  \n**Wo?** ZB MED in Köln\n\n",
+#     "#  „ACM WSDM 2025“: renommierte Konferenz zu Websuche und Data Mining in\nHannover\n\nWissenschaftlicher Austausch und technologische Innovation im Fokus der 18.\nACM International Conference on Web Search and Data Mining\n\nDie 18. ACM International Conference on Web Search and Data Mining (WSDM 2025)\nwird vom 10.03.2025 - 14.03.2025 in Hannover stattfinden. Die WSDM zählt zu den\nführenden Konferenzen in den Bereichen Websuche, Data Mining, Maschinelles\nLernen und Künstliche Intelligenz. Sie bietet eine Plattform, auf der weltweit\nführende Wissenschaftler:innen, Fachleute und Praktiker:innen ihre neuesten\nForschungsergebnisse präsentieren und zukunftsweisende Ideen austauschen\nkönnen.\n\nDie Konferenz wird sich auf ein breites Spektrum aktueller Themen\nkonzentrieren, darunter:\n\n  * Web of Things, ortsunabhängige und mobile Datenverarbeitung (Ubiquitous and Mobile Computing) \n  * Datenschutz, Fairness, Interpretierbarkeit \n  * Soziale Netzwerke \n  * Intelligente Assistenten \n  * Crowdsourcing und menschliche Datenverarbeitung \n\n",
+#     "#  Infoveranstaltung für geistliche Mütter und Väter\n\n**Als Kirche wollen wir uns in die junge Generation investieren und sie\nfördern. Dazu gebraucht Gott reife geistliche Mütter und Väter.**\n\nVon **Christliches Zentrum Darmstadt**\n\n##  Datum und Uhrzeit\n\nSo. 08.12.2024 12:15 - 13:15 CET\n\n##  Veranstaltungsort\n\nChristliches Zentrum Darmstadt\n\nRöntgenstraße 18 64291 Darmstadt\n\n##  Zu diesem Event\n\n**Infoveranstaltung für geistliche Mütter und Väter**\n\nAls Kirche wollen wir uns in die junge Generation investieren und sie fördern.\nDazu gebraucht Gott reife geistliche Mütter und Väter. Wenn du im altern von\nüber 55 Jahren bist und einen Unterschied im Leben einer jungen Person machen\nmöchtest, bist du herzlich zu dieser Infoveranstaltung eingeladen.\n\nWir wollen uns gemeinsam austauschen was unsere ältere Generation auf ihrer\nReise mit Gott benötigt und welches Erbe Gott ihnen gegeben hat. Zudem\nsprechen wir über das kommende Jahr und welche Schritte wir gehen dürfen,\ndamit die junge Generation fest in Jesus verwurzelt ist.\n\nWir starten mit einem kleinen Mittagessen und laden dich herzlich ein.\n\n",
+#     "**HEILIGABEND | FILM-GOTTESDIENST**\n\nErlebe einen besonderen Film-Gottesdienst mit ansprechendem Programm. Es\nerwartet dich eine Atmosphäre mit weihnachtlichen Liedern und einer\nermutigenden Botschaft.\n\n**24.12.2025 um 16:00**\n\nDer Film \"Klaus\" zeigt, dass kleine Gesten der Freundlichkeit und des Gebens\neine große positive Wirkung auf die Welt haben können. Es wird deutlich, wie\nselbst ein einzelner, gutherziger Mensch eine Kettenreaktion auslösen kann,\ndie das Leben anderer verbessert und Konflikte überwindet.\n\n**Infos für Familien:  \n** Der Gottesdienst ist für die gesamte Familie geeignet und dauert ca. eine\nStunde. Es gibt kein extra Kids Programm.\n\n",
+#     "#  Termin für öffentliche Besichtigung\n\n07.01.2025\n\n  * Am 01.07.2025 \n  * Von 18:00 bis Uhr \n  * Tasköprüstraße 10 (ehemalige Selgros-Markthalle) \n  * Termin im Kalender speichern \n\nIn einer Informationsveranstaltung wurde bereits über die Planung zur\nErrichtung eines Notstandortes für die Unterbringung Asyl- und/oder\nSchutzsuchender in der ehemaligen Selgros-Markthalle im Bezirk Altona\ninformiert. Nun steht der Termin für die öffentliche Besichtigung fest.\n\nInformationen zum Notstandort gibt es außerdem in der Präsentation , die im\nRahmen der Informationsveranstaltung gezeigt worden ist.\n\nErgänzende Informationen zum Standort und den Terminen finden Sie auch in der\nNachbarschaftsinformation von Fördern & Wohnen (November 2024).\n\n",
+#     "#  Cornelia Poletto Palazzo\n\n**Wann?** 07.11.2024 - 09.03.2025  \n**Wo?** Spiegelpalast in Hamburg-Altona, Waidmannstraße 26\n\nIn diesem Jahr geht der Cornelia Poletto Palazzo bereits in die neunte\nSpielzeit in Hamburg. Neben einem neuen Menü und neuem Programm erwartet Gäste\nder Dinner-Show auch ein neuer Standort: In der Saison 2024/25 ist der\nSpiegelpalast vom 07.11.2024 - 09.03.2025 in Hamburg-Altona zu\nfinden.\n\nTickets sind hier erhältlich: **Tickets buchen**\n\n##  Das Menü von Cornelia Poletto\n\nDie Hamburger Starköchin Cornelia Poletto hat für die Dinner-Show erneut ein\nVier-Gänge-Menü entworfen. Als Vorspeise werden ein Insalata nizzarda mit\nGrenaille-Kartoffeln, Thunfisch-Tatar, Artischocke und Kräutersud gereicht.\nDen Zwischengang bildet eine grüne Minestrone mit Burratacreme, Pistazien und\nMinzöl. Als Hauptgang folgt ein „Brasato di Festa“, ein italienischer, in\nBarolo geschmorter Rinderbraten mit cremiger Polenta, Balsamico-Apfel-Rotkohl\nund Maronen. Zum Schluss wird als Dessert die „Zitronen-Jette“ serviert:\nCrostata mit Amalfizitrone, Vanillecreme und Joghurteis. Für Vegetarier*innen\nsteht ein alternatives Menü zur Verfügung.\n\n##  Das Programm: „Family Affairs“\n\nNicht nur das Menü und der Standort sind neu: Auch das Programm zeigt sich in\nneuem Gewand. Unter dem Namen „Family Affairs“ erschafft das Ensemble den\nSchauplatz einer vermeintlich gewöhnlichen Familienfeier. Eine über die ganze\nWelt verteilte, ungleiche und meist auch uneinige Verwandtschaft trifft sich\nzu einer spannungsreichen und amüsanten Zusammenkunft. In diesem Rahmen können\ndie Zuschauer*innen sich auf Akrobatik, Comedy, Slapstick und Live-Musik\nfreuen.\n\n##  Über Palazzo\n\nDer Cornelia Poletto Palazzo ist zum neunten Mal in Hamburg. Palazzo-Shows mit\nMenüs anderer Köch*innen finden in Berlin, Nürnberg, Stuttgart und Wien statt.\nDas Konzept von Zirkus- bzw. Varieté-Shows, kombiniert mit einem gehobenen\ngastronomischen Angebot in der Atmosphäre eines Spiegelpalastes geht auf den\nSchweizer Produzenten und Gründer des „Zirkus Aladin“ Ueli Hirzel zurück.\nHirzel bereiste mit seinem Zirkus ab 1981 die Schweiz. 1990 brachten Bernhard\nPaul, Hans-Peter Wodarz und Alfons Schuhbeck das Konzept nach Deutschland.\n\n",
+#     "#  Leonardo da Vinci in Hamburg\n\nNach dem großen Erfolg der immersiven Show Tutanchamun startete am 17.09.2024 die neue Ausstellung \"Leonardo da Vinci – uomo universale\" in\nHamburg.\n\nLeonard da Vinci - uomo universalis\n\nAlegria Exhibition GmbH\n\n##  Eine Reise durch das Leben des Genies\n\nMit einer aufwändigen immersiven Inszenierung nimmt die Ausstellung die\nBesucherinnen und Besucher mit auf eine Reise durch das Leben des Genies.\nGezeigt werden unter anderem Nachbildungen seiner zahlreichen Erfindungen und\nalle 16 Bilder, die ihm heute sicher zugeschrieben werden können. Das\nHerzstück der Ausstellung ist die immersive Inszenierung. Mittels Projektoren\nerwachen Werk und Welt des Universalgenies zu neuem Leben.\n\n**Tickets sind hier erhältlich:\n\nTickets buchen*\n\n**\n\n##  Erster unter den uomini universali\n\nLeonardo da Vinci (1452 - 1519) hatte durchaus berühmte Zeitgenossen, wie\nMichelangelo, Raffael oder Botticelli, doch niemand war so vielseitig.\n\nLeonardo war ein Universalgenie, war begnadeter Künstler, Wissenschaftler,\nIngenieur und Erfinder. Erster unter den uomini universali (Erster unter den\nUniversalmenschen)wurde Leonardo genannt. In der Renaissance beschrieb man so\ndas Idealbild eines Menschen.\n\n##  Berühmte Gemälde und Erfindungen\n\nZu Leonardos berühmtesten Gemälden zählen die _Dame mit Hermelin, Das letzte\nAbendmahl, Mona Lisa_ oder der _Vitruvianische Mensch._ Zu seinen Erfindungen\nzählen Fluggeräte, ein Helikopter, Fallschirm, mechanische Roboter, Panzer und\nvieles mehr.\n\n##  Info-Spalte\n\n##  Kontakt\n\nGaußhöfe\n\n  * Gaußstraße 190 22765 Hamburg \n\nEmpfohlene Besuchsdauer: ca. 65-75 Minuten\n\n  * +49 40 391771 \n\n  * Webauftritt aufrufen \n\n  * Kontakt speichern \n\n  * Adresse auf Karte anzeigen \n\n  * Anfahrt \n\n###  Termine\n\nTermin\n\n  01.09.2025 - 26.12.2024 \n\n###  Altersempfehlung:\n\nAltersempfehlung:\n\nAlle sind willkommen! Kinder unter 14 Jahren müssen in Begleitung ihrer\nEltern sein.\n\n###  Barrierefreiheit\n\nBarrierefreiheit\n\nDie Ausstellung ist barrierefrei.\n\nDisclaimer\n\n###  *Hinweis\n\n*Über die Einbindung dieses mit *Sternchen markierten Angebots erhalten wir beim Kauf möglicherweise eine Provision vom Händler. Die gekauften Produkte werden dadurch für Sie als Nutzerinnen und Nutzer nicht teurer. \n\n",
+#     "#  MJ – Das Michael Jackson Musical\n\nDas Erfolgsmusical über den Ausnahmekünstler Michael Jackson ist seit Dezember\n2024 in Hamburg zu sehen! Tickets und Hotel können Sie hier bequem online\nbuchen.\n\nBenét Monteiro als Michael Jackson in MJ – Das Michael Jackson Musical.\n\nMatthew Murphy / Stage Entertainment\n\n##  Inhaltsverzeichnis\n\n  * Tickets buchen \n\n  * Tickets und Hotel buchen \n\n  * MJ – Das Michael Jackson Musical in Hamburg \n\n  * Die Entstehung der „Dangerous“-Welttournee \n\n##  **Tickets buchen**\n\nErleben Sie das mehrfach ausgezeichnete Musical MJ – Das Michael Jackson\nMusical.\n\nTickets buchen ab 63,99€*\n\n##  **Tickets und Hotel buchen**\n\nSie möchten Ihren Musical-Besuch mit einer Reise nach Hamburg verbinden? Hier\nkönnen Sie Ihre Tickets und Hotelübernachtung im Paket buchen:\n\nReisepaket: MJ – Das Michael Jackson Musical ab 134,60€*\n\nAlle Vorteile auf einen Blick:\n\n  * Übernachtung im ausgewählten Hotel inkl. Frühstück, Zusatznächte buchbar \n  * Musical-Ticket in der gewählten Preiskategorie \n  * Hamburg Card (3 Tage) – Ihr Entdeckerticket für freie Fahrt mit Bus und Bahn im Wert von 31,90€ \n\n##  MJ – Das Michael Jackson Musical in Hamburg\n\nMit Hits wie \"Billy Jean\", \"Beat it\" oder \"Thriller\" wurde Michael Jackson\nweltberühmt. Sein künstlerisches Talent und Charisma werden in dem Broadway-\nMusical über den Entertainer gewürdigt. Das Stück erhielt vier Tony Awards,\neine Grammy Nominierung für das Cast Album und hat bereits fast eine Million\nZuschauer*innen in New York begeistert.\n\nAm 01.12.2024 feierte MJ – Das Michael Jackson Musical jetzt seine\nDeutschlandpremiere! Das Stage Theater an der Elbe ist die Bühne für das\nMusical-Spektakel über die Musiklegende Michael Jackson.\n\n##  Trailer für MJ – Das Michael Jackson Musical\n\n###  Youtube Video aktivieren\n\nMit dem Laden des Videos akzeptierst Du die\n\naktuelle Datenschutzerklärung\n\nDieses Video aktivieren\n\nZu den Datenschutz-Bestimmungen\n\n##  Die Entstehung der „Dangerous“-Welttournee\n\nRund um die Entstehungsgeschichte der 1992 er „Dangerous“-Welttournee zeigt MJ\n– Das Michael Jackson Musical einige der beliebtesten und meistverkauften\nSongs der Musikgeschichte überhaupt. Während der Proben zur Tournee nimmt\nMichael Jackson das Publikum mit auf eine Reise durch sein Leben. Das Publikum\nkann sich auf die Moves und den unverwechselbaren Sound des Stars freuen –\nerhält aber auch seltene Einblicke in den Teamgeist und die schöpferische\nKraft, die Michael Jackson zur Legende werden ließen.\n\nFür die deutsche Produktion werden die Songs von Michael Jackson im englischen\nOriginal aufgeführt, während die Dialoge ins Deutsche übersetzt sind. Für die\nBesetzung der Hauptrolle in MJ – Das Michael Jackson Musical fanden\numfangreiche Castings statt. Am Ende konnte sich Musicaldarsteller Benét\nMonteiro durchsetzen. Der gebürtige Brasilianer steht als Michael Jackson auf\nder Musicalbühne.\n\n##  Termine für MJ – Das Michael Jackson Musical\n\n##  Anfahrt\n\nMJ – Das Michael Jackson Musical | Stage Theater an der Elbe \n\n  * [Norderelbstraße 8 \n\n20457 Hamburg](#)\n\n  * Kontakt speichern \n\n  * Adresse auf Karte anzeigen \n\n  * Anfahrt \n\n###  Termine\n\nTermin\n\nPremiere am 01.12.2024\n\n",
+#     "#  Liedernachmittag\n\nLieder von R. Schubert, R. Franz, A. Webern, H. Wolf\n\n© MAK/LHH\n\nVortrag im Museum August Kestner\n\nMonika Abel, Sopran / Kathrin Isabelle Klein, Klavier\n\nTermine\n\n01.11.2025 ab 16:00\n\nOrt\n\nMuseum August Kestner\n\nPlatz der Menschenrechte 3\n\n30159 Hannover\n\nKonzertkarten: [email protected] und Tageskasse ab 15:00 im Museum\n\nUnter der Schirmherrschaft von Kammersängerin Helen Donath.\n\nBis zu viermal im Jahr laden wir zu einem Liedernachmittag im Museum ein.\n\nIn Zusammenarbeit mit: Lohmann-Stiftung für Liedgesang e.V., Hannover;\nFreundes- und Förderkreis des Museum August Kestner „Antike & Gegenwart e.V.“\n\n",
+#     "##  Die goldene Stadt\n\n**Rom im Spiegel seiner Medaillen**\n\n© MAK/LHH\n\nVortrag im Museum August Kestner\n\nMit Dr. Martin Hersch (München)\n\nIn Kooperation mit dem Freundeskreis Antike und Gegenwart\n\n**Termine**\n\n15.01.2025 ab 18:00\n\n**Ort**\n\nMuseum August Kestner\n\nPlatz der Menschenrechte 3\n\n30159 Hannover\n\n**Eintritt**\n\n5,00 €\n\n**ermäßigter Eintritt**\n\n4,00 €\n\n",
+#     "###\n\nVeranstaltungen\n\n#  Stadtansichten\n\n(Reise-)Geschichten zu Münzen aus Antike und Barock\n\n© Historisches Museum Hannover\n\nPostkarte Gruß aus Hannover, 1954\n\nErleben Sie bei einem Besuch der Sonderausstellung Städtetrip vielfältige und\nspannende Lyrik und Prosa verschiedener Autor*innen, nicht nur zum Thema\nReisen. Ausgewählt und vorgetragen von der Literarischen Komponistin und\nRezitatorin Marie Dettmer.\n\nTermine\n\n01.12.2025 ab 14:00-15:00\n\nOrt\n\nLandeshauptstadt Hannover\n\nTrammplatz 2\n\n30159 Hannover\n\n",
+#     "#  Finissage der Sonderausstellung Bartmann, Bier und Tafelzier. Steinzeug in\nder niederländischen Malerei\n\n© Museum August Kestner\n\nDiverse Krüge aus der Ausstellung\n\nMit Kuratorinnenführung\n\n**Termine**\n\n18.01.2025 ab 11:00-18:00\n\n**Ort**\n\nMuseum August Kestner\n\nPlatz der Menschenrechte 3\n\n30159 Hannover\n\n",
+#     "#  Nikolausmarkt\n\n##  Veranstaltungsinformationen\n\n  01.12.2024 – 08.12.2024 \n\n  2. Kulturhof \n\n© Stadt Bottrop\n\nWie in jedem Jahr organisiert das Kulturamt am zweiten Adventswochenende den\nNikolausmarkt im Kulturhof und im Umfeld des Kulturzentrums. Dabei gibt es ein\nbuntes Programm für die ganze Familie. Für die Kleinen gibt's die Möglichkeit,\nWeihnachtsgeschenke zu basteln. Das Spielmobil \"Rollmobs\" des Jugendamtes ist\nauch mit dabei und bietet jede Menge Bastel-, Back- und Nähaktionen an. In der\nLebendigen Bibliothek gibt es ein Lese- und Bastelangebot für Kinder und auch\ndie MEWA Nähstube ist hier zu finden.\n\nPrivate Kunsthandwerkerinnen und Kunsthandwerker geben einen Einblick in ihr\nSchaffen und verkaufen selbstgestalteten Schmuck, Strick- und Filzwaren. Auch\ngemeinnützige Einrichtungen sind mit von der Partie und verkaufen\nselbstgemachte Produkte. Ein Holzschnitzer aus Kirchhellen stellt zahlreiche\nHolzarbeiten aus und zeigt auch live, wie verschiedene Motive hergestellt\nwerden.\n\nIm Kulturhof wird wieder das RWW Weihnachtshaus aufgebaut, wo es heiße und\nkalte Getränke gibt. Außerdem gibt es ein weihnachtlich-gastronomisches\nAngebot auf dem Vorplatz des Kulturzentrums.\n\nDer ELE Winter-Express zieht seine Runden rund um das Kulturzentrum August\nEverding.\n\nIm B12 findet der Kunstmarkt „ARTvent“ statt, bei dem Bottroper KünstlerInnen\nihre Werke ausstellen und verkaufen.\n\nAlle kulturellen und spielerischen Angebote auf dem Nikolausmarkt sind\nkostenlos.\n\n* * *\n\n##  Programm\n\n**Der Nikolaus kommt am Freitag um 17:00!**\n\n**Filmforum:**  \nWeihnachtskino  \n\"Arthur Weihnachtsmann\"  \nSa 12.00 und 16:00, So 12:00  \nKindertheater  \nSa und So 15:00  \n**B12:** ARTvent  \n**Lebendige Bibliothek:**  \nLesungen und Basteln  \nMEWA Nähstube  \n**Kulturhof:**  \nKunsthandwerk, Sterne basteln  \n**Außerdem:** Der ELE Winter-Express  \nDas Spielmobil  \nMusikalische Walkacts  \nRiesenrad & Karussell\n\n##  Informationen\n\n| Beginn | Freitag 16:00-20:00 / Samstag 11:00-20:00 / Sonntag 11:00-18:00 | | --- | --- | \n\n##  Veranstaltungsort\n\nKulturhof\n\n##  Veranstalter\n\nKulturamt der Stadt Bottrop\n\n",
+#     "#  Verleihung Erlanger Theaterpreis\n\nTheater in der Garage\n\nEinmal jährlich vergibt der Förderverein den Erlanger Theaterpreis für\nherausragende künstlerische Leistungen am Schauspiel Erlangen.\n\n##  Daten\n\nSo.\n\n8.12.\n\nkeine Anmeldung nötig\n\nTheater in der Garage\n\n19:00\n\nEintritt frei\n\n##  Infos\n\nMehr Infos zum Förderverein Theater Erlangen.\n\n",
+#     "#  🎉 SILVESTER 2024 IM FOODKLUB 🎉\n\nFeiern Sie mit uns ins neue Jahr mit einem exquisiten levantinischen\nFestbuffet! Was Sie erwartet: • Reichhaltiges levantinisches Buffet • 48€ pro\nPerson • Erlesene Weine aus der Region • Erstklassiger fränkischer Secco •\nOptional: Champagner (auf Vorbestellung) ⚠️ Limitierte Plätze verfügbar!\nSichern Sie sich jetzt Ihren Tisch für einen unvergesslichen Jahresabschluss.\nReservierung unter: 📞 09131/9171462 📧 [email protected] Foodklub Ebrardstr.\n30, 91054 Erlangen\n\n",
+#     "PIANOKLÄNGE & Herzgeschichten So, 15.12.2024\n===================================================\n\nVeranstalter: Stiftung Gemeinsam für Halle\n\nWo findet diese Veranstaltung statt? Lichthaus Halle  \nDreyhauptstraße 3  \n06108 Halle (Saale)\n\nWann findet diese Veranstaltung statt? So, 15.12.2024\n\nBeginn: 15:00\n\nEinlass: 14:30\n\nZum Kalender hinzufügen\n\n###  Tickets\n\n####  Ticket (Vorverkauf)\n\nAktuell verfügbar: 21\n\n18,00 € inkl. 7% MwSt.\n\n\\-\n\n\\+\n\nZur Kasse\n\n",
+#
+# ]
+#
+# # texts = TEXTS
+#
+#
+# date_time_extractor = DateTimeExtractor()
+#
+# for text in texts:
+#     print("*"*100)
+#     print(text)
+#     dates = date_time_extractor.extract(text)
+#     print(dates)
+#     print("*"*100)
+#
+#     # segments = date_time_extractor.text_segmentation(text)
+#     # # Ausgabe der finalen Gruppen
+#     # print("*"*100)
+#     # print(text)
+#     # print("\n\n")
+#     # for segment in segments:
+#     #     print("Relation: ", " ".join([element.text for element in segment]))
+#     # print("*" * 100)
+

src/nlp/playground/pipelines/date_extractor_v2.py

@@ -0,0 +1,305 @@
+import pickle
+
+import spacy
+from spacy.util import  compile_suffix_regex, compile_infix_regex
+from spacy.tokenizer import Tokenizer
+from spacy.language import Language
+
+from src.nlp.data.test_texts import TEXTS
+from src.nlp.playground.textclassification import ZeroShotClassifier, CustomMode
+from src.utils.helpers import normalize_data
+from src.utils.markdown_processing.CustomMarkdownAnalyzer.MarkdownAnalyzer import MarkdownAnalyzer
+from spacy.tokens import Span
+
+class NLPProcessor:
+    def __init__(self, language="de"):
+        self.nlp = spacy.blank(language)
+        self._configure_pipeline()
+
+    def _configure_pipeline(self):
+        self.nlp.add_pipe("sentencizer", config={"punct_chars": [".", "!", "?"]})
+        self.nlp.add_pipe("custom_sentence_boundary", after="sentencizer")
+        self._setup_tokenizer()
+        self._setup_entity_ruler()
+
+    def _setup_tokenizer(self):
+        suffixes = list(self.nlp.Defaults.suffixes) + [r"\.", r"\,"]
+        infixes = list(self.nlp.Defaults.infixes) + [r"(?<=\d)\.(?=\d)", r"(?<=\d)\:(?=\d)"]
+
+        suffix_re = compile_suffix_regex(suffixes)
+        infix_re = compile_infix_regex(infixes)
+
+        self.nlp.tokenizer = Tokenizer(self.nlp.vocab, suffix_search=suffix_re.search, infix_finditer=infix_re.finditer)
+
+    def _setup_entity_ruler(self):
+        ruler = self.nlp.add_pipe("entity_ruler")
+        ruler.add_patterns([
+            {"label": "DATE", "pattern": [{"SHAPE": "dd"}, {"ORTH": "."}, {"SHAPE": "dd"}, {"ORTH": "."}, {"SHAPE": "dddd"}]},
+            {"label": "TIME", "pattern": [{"SHAPE": "dd"}, {"ORTH": ":"}, {"SHAPE": "dd"}]}
+        ])
+
+    @staticmethod
+    @Language.component("custom_sentence_boundary")
+    def custom_sentence_boundary(doc):
+        for token in doc[:-1]:
+            if token.text.endswith(".") and token.nbor(1).is_digit:
+                doc[token.i + 1].is_sent_start = False
+        return doc
+
+class Token:
+    def __init__(self, text):
+        self.text = text
+
+    def __repr__(self):
+        return self.text
+
+
+class EntityGroup(Token):
+    def __init__(self, sequence):
+        self.sequence = sequence
+        text = " ".join([s.text for s in sequence])
+        super().__init__(text)
+
+class DateTime:
+    def __init__(self):
+        self._startDate = None
+        self._endDate = None
+        self._startTime = None
+        self._endTime = None
+        self._context = None
+
+    @property
+    def start_date(self):
+        return self._start_date
+
+    @start_date.setter
+    def start_date(self, value):
+        self._start_date = value
+
+    @property
+    def end_date(self):
+        return self._end_date
+
+    @end_date.setter
+    def end_date(self, value):
+        self._end_date = value
+
+    @property
+    def start_time(self):
+        return self._start_time
+
+    @start_time.setter
+    def start_time(self, value):
+        self._start_time = value
+
+    @property
+    def end_time(self):
+        return self._end_time
+
+    @end_time.setter
+    def end_time(self, value):
+        self._end_time = value
+
+    @property
+    def context(self):
+        return self._con
+
+    @context.setter
+    def context(self, value):
+        self.context = value
+
+
+
+class DateTimeExtractor(NLPProcessor):
+    def __init__(self):
+        super().__init__()
+        self.date_classifier = self._load_classifier()
+
+    @staticmethod
+    def _load_classifier():
+        """Lädt den trainierten Klassifikator aus einer Datei."""
+        with open("../models/title_classifier.pkl", "rb") as f:
+            return pickle.load(f)
+
+    def __extract_tokens_between_entities(self, doc):
+        entities = list(doc.ents)  # Alle Entitäten im Text
+        tokens_between = []
+
+        if len(entities) < 2:
+            return tokens_between  # Wenn es weniger als 2 Entitäten gibt, gibt es kein "Dazwischen"
+
+        for i in range(len(entities) - 1):
+            ent1 = entities[i]
+            ent2 = entities[i + 1]
+
+            # Speichere nur Tokens zwischen ent1 und ent2
+            tokens_between.append(doc[ent1.end:ent2.start])
+
+        return tokens_between
+
+    def __find_strong_relations(self, sequence):
+        sequence = [s for s in sequence if len(s.text)>1]
+        strong_relations = []
+        curr_relation = [sequence[0]]
+        sequence.pop(0)
+        for i,token in enumerate(sequence):
+            if isinstance(token, Span):
+                label = token.label_
+                curr_relation.append(token)
+            elif i+1 < len(sequence):
+                if isinstance(sequence[i+1], Span):
+                    strong_relations.append(curr_relation)
+                    curr_relation=[token]
+                else:
+                    curr_relation.append(token)
+        strong_relations.append(curr_relation)
+
+        return strong_relations
+
+    def __preprocess(self, text):
+        text = normalize_data(text)
+        replacements = {" und ": " + ", " bis ": " - ", " um ": " ", " ab ": " "}
+        for old, new in replacements.items():
+            text = text.replace(old, new)
+        return text
+
+    def date_time_segmentation(self, text):
+        analyzer = MarkdownAnalyzer(text)
+        md_elements = analyzer.identify_all().get("block_elements")
+        segments = []
+        date_times = []
+        for element in md_elements:
+            text = self.__preprocess(element.text)
+            sents = self.nlp(text).sents
+            for sent in sents:
+                doc = self.nlp(sent.text)
+                if doc.ents:
+                    date_time = DateTime()
+                    if len(doc.ents) == 1:
+                        entity = doc.ents[0]
+                        if entity.label_ == "DATE":
+                            date_time.start_date = doc.text
+                        else:
+                            date_time.start_time = doc.text
+                        date_time.context = sent.text
+                        # before = Token(text=doc[:entity.start].text) if entity.start > 0 else None
+                        # entity_token = entity
+                        # after = Token(text=doc[entity.end:].text) if entity.end < len(doc) else None
+                        # segment = [t for t in [before, entity_token, after] if t]
+                        # segments.append(segment)
+                        date_times.append(date_time)
+                        continue
+
+                    tokens_between_entities = self.__extract_tokens_between_entities(doc)
+
+                    sequence = [Token(text=doc[:doc.ents[0].start].text)]
+                    entities = list(doc.ents)
+                    # entities = [Entity(e.text, e.label_) for e in doc_small.ents]
+                    sequence.append(entities[0])
+                    if entities[0].label_ == "DATE":
+                        date_time.start_date = doc.text
+                    else:
+                        date_time.start_time = doc.text
+
+                    for i, tokens in enumerate(tokens_between_entities):
+                        connector = tokens.text.strip()
+                        if len(connector) > 1:
+                            sequence.extend([Token(text=c) for c in connector.split(",")])
+                        else:
+                            sequence.append(Token(connector))
+                        sequence.append(entities[i + 1])
+                    sequence.append(Token(doc[doc.ents[len(entities) - 1].end:].text))
+
+                    strong_relations = self.__find_strong_relations(sequence)
+                    final_relations = []
+                    remaining_sequence = sequence[:]  # Eine Kopie von `sequence` behalten
+
+                    for relation in strong_relations:
+                        complete_group = []
+                        for r in relation:
+                            if r.text in [s.text for s in remaining_sequence]:
+                                i = remaining_sequence.index(r)  # Index in der verbleibenden Liste finden
+                                s = remaining_sequence[:i]  # Alles davor nehmen
+                                complete_group.extend(s)  # In die aktuelle Gruppe packen
+                                complete_group.append(r)  # Das aktuelle `r` hinzufügen
+                                remaining_sequence = remaining_sequence[i + 1:]  # Kürze die Liste ab
+                            else:
+                                print(f"Warnung: '{r}' nicht in der verbleibenden Sequence gefunden!")
+
+                        final_relations.append(complete_group)
+                    segments.extend(final_relations)
+        return segments
+
+    def extract(self,text):
+        segments = self.date_time_segmentation(text)
+        for segment in segments:
+            # doc = self.nlp(" ".join([s.text for s in segment]))
+            date_entities = [token for token in segment if isinstance(token, spacy.tokens.Span) and token.label_ == "DATE"]
+            time_entities = [token for token in segment if isinstance(token, spacy.tokens.Span) and token.label_ == "TIME"]
+            if date_entities:
+                print("Textsegment: ", " ".join([s.text for s in segment]))
+                date_class = self.date_classifier(" ".join([s.text for s in segment]))
+                best_label, best_score = max(date_class.items(), key=lambda x: x[1])
+                if best_label == "EVENT_DATE" and best_score > 0.8:
+                    print("Datum: ",date_entities)
+                    print(f"Label: {best_label}, Score: {best_score:.4f}")
+                    if time_entities:
+                        print("Uhrzeit:", time_entities)
+            elif time_entities:
+                print(" ".join([s.text for s in segment]))
+                # Todo Time classification
+                print("Andere Uhrzeit:", time_entities)
+
+
+texts = [
+    "Tickets können ab dem 03.12.2020 erworben werden",
+    "Am 01.01.2020 findet die Veranstaltung statt, Einlass ist um 15:00",
+    "** Die Veranstaltung beginnt am 24.12.2025 um 16:00, Einlass ist ab 15:30. **",
+    "Wann: 03.03.2020 16:00, Einlass: 15:00",
+    "Wann? 25.04.2025 - 23.05.2020, 15:00 bis 16:00. Abendkasse ab 14:30",
+    """
+    Termine: \n
+    23.05.2024 19:00 \n
+    22.06.2022 18:00 \n
+    23.12.2030 17:00-18:00
+    """,
+    "#  Technik-Salon an der TIB: „FLY ROCKET FLY“\n\nÜber den Aufstieg und Fall des Raketenpioniers Lutz Kayser – ein Film- und\nGesprächsabend mit dem Dokumentarfilmer Oliver Schwehm\n\nEin Start-Up aus dem Schwäbischen, 170 Millionen D-Mark Wagniskapital, ein\nprivates Testgelände im afrikanischen Dschungel – so trat Lutz Kayser in den\n1970 er-Jahren an, die Raumfahrt zu revolutionieren.\n\nWarum das gut hätten klappen können und schließlich doch scheiterte, schildert\nOliver Schwehm in seiner bildreichen Dokumentation. Im Rahmen der\nJubiläumstour zu Ehren von Lutz Kayser („50 Jahre OTRAG – Oribital Transport\nund Raketen AG“) machen Film und Regisseur am 05.12.2024 im Technik-\nSalon Station in der TIB in Hannover. Der Eintritt für die Veranstaltung „FLY\nROCKET FLY“ ist frei (Spendenbox).\n\n**Wann?** 05.12.2024, 19:00-21:00  \n**Wo?** Lesesaal im Marstallgebäude, TIB\n\n",
+    "#  7. Workshop Retrodigitalisierung\n\nThema: Digitalisierte Sammlungen präsentieren – Konzeptionierung, Darstellung\nund Vermittlung\n\nDer siebte Workshop Retrodigitalisierung findet am 20.03.2025 und 21.03.2025 bei\nZB MED – Informationszentrum Lebenswissenschaften in Köln statt. Er richtet\nsich an Praktiker:innen, die sich in Bibliotheken mit der Retrodigitalisierung\nbefassen. Wie in den Vorjahren bietet der Workshop ein breites Spektrum an\ninteressanten Vorträgen zur Praxis der Retrodigitalisierung. Dafür brauchen\nwir Sie und Ihre Einreichungen!\n\nIm Fokus des nächsten Workshops steht die zeitgemäße Präsentation\ndigitalisierter Sammlungen. Das Programm widmet sich insbesondere den Themen\nKonzeptionierung, Darstellung und Vermittlung von digitalisierten Sammlungen\nund Beständen über die Präsentationsplattformen der Einrichtungen rund um die\nNutzung von Digitalisaten.\n\nDer Call for Presentations läuft noch bis zum 18.10.2024. Wir freuen uns\nauf Ihren Beitrag!\n\nDer Workshop Retrodigitalisierung wird gemeinsam von den drei deutschen\nZentralen Fachbibliotheken TIB – Leibniz-Informationszentrum Technik und\nNaturwissenschaften, ZB MED – Informationszentrum Lebenswissenschaften und ZBW\n– Leibniz-Informationszentrum Wirtschaft sowie der Staatsbibliothek zu Berlin\n– Preußischer Kulturbesitz durchgeführt.\n\n**Wann?** 20.03.2025 - 21.03.2025  \n**Wo?** ZB MED in Köln\n\n",
+    "#  „ACM WSDM 2025“: renommierte Konferenz zu Websuche und Data Mining in\nHannover\n\nWissenschaftlicher Austausch und technologische Innovation im Fokus der 18.\nACM International Conference on Web Search and Data Mining\n\nDie 18. ACM International Conference on Web Search and Data Mining (WSDM 2025)\nwird vom 10.03.2025 - 14.03.2025 in Hannover stattfinden. Die WSDM zählt zu den\nführenden Konferenzen in den Bereichen Websuche, Data Mining, Maschinelles\nLernen und Künstliche Intelligenz. Sie bietet eine Plattform, auf der weltweit\nführende Wissenschaftler:innen, Fachleute und Praktiker:innen ihre neuesten\nForschungsergebnisse präsentieren und zukunftsweisende Ideen austauschen\nkönnen.\n\nDie Konferenz wird sich auf ein breites Spektrum aktueller Themen\nkonzentrieren, darunter:\n\n  * Web of Things, ortsunabhängige und mobile Datenverarbeitung (Ubiquitous and Mobile Computing) \n  * Datenschutz, Fairness, Interpretierbarkeit \n  * Soziale Netzwerke \n  * Intelligente Assistenten \n  * Crowdsourcing und menschliche Datenverarbeitung \n\n",
+    "#  Infoveranstaltung für geistliche Mütter und Väter\n\n**Als Kirche wollen wir uns in die junge Generation investieren und sie\nfördern. Dazu gebraucht Gott reife geistliche Mütter und Väter.**\n\nVon **Christliches Zentrum Darmstadt**\n\n##  Datum und Uhrzeit\n\nSo. 08.12.2024 12:15 - 13:15 CET\n\n##  Veranstaltungsort\n\nChristliches Zentrum Darmstadt\n\nRöntgenstraße 18 64291 Darmstadt\n\n##  Zu diesem Event\n\n**Infoveranstaltung für geistliche Mütter und Väter**\n\nAls Kirche wollen wir uns in die junge Generation investieren und sie fördern.\nDazu gebraucht Gott reife geistliche Mütter und Väter. Wenn du im altern von\nüber 55 Jahren bist und einen Unterschied im Leben einer jungen Person machen\nmöchtest, bist du herzlich zu dieser Infoveranstaltung eingeladen.\n\nWir wollen uns gemeinsam austauschen was unsere ältere Generation auf ihrer\nReise mit Gott benötigt und welches Erbe Gott ihnen gegeben hat. Zudem\nsprechen wir über das kommende Jahr und welche Schritte wir gehen dürfen,\ndamit die junge Generation fest in Jesus verwurzelt ist.\n\nWir starten mit einem kleinen Mittagessen und laden dich herzlich ein.\n\n",
+    "**HEILIGABEND | FILM-GOTTESDIENST**\n\nErlebe einen besonderen Film-Gottesdienst mit ansprechendem Programm. Es\nerwartet dich eine Atmosphäre mit weihnachtlichen Liedern und einer\nermutigenden Botschaft.\n\n**24.12.2025 um 16:00**\n\nDer Film \"Klaus\" zeigt, dass kleine Gesten der Freundlichkeit und des Gebens\neine große positive Wirkung auf die Welt haben können. Es wird deutlich, wie\nselbst ein einzelner, gutherziger Mensch eine Kettenreaktion auslösen kann,\ndie das Leben anderer verbessert und Konflikte überwindet.\n\n**Infos für Familien:  \n** Der Gottesdienst ist für die gesamte Familie geeignet und dauert ca. eine\nStunde. Es gibt kein extra Kids Programm.\n\n",
+    "#  Termin für öffentliche Besichtigung\n\n07.01.2025\n\n  * Am 01.07.2025 \n  * Von 18:00 bis Uhr \n  * Tasköprüstraße 10 (ehemalige Selgros-Markthalle) \n  * Termin im Kalender speichern \n\nIn einer Informationsveranstaltung wurde bereits über die Planung zur\nErrichtung eines Notstandortes für die Unterbringung Asyl- und/oder\nSchutzsuchender in der ehemaligen Selgros-Markthalle im Bezirk Altona\ninformiert. Nun steht der Termin für die öffentliche Besichtigung fest.\n\nInformationen zum Notstandort gibt es außerdem in der Präsentation , die im\nRahmen der Informationsveranstaltung gezeigt worden ist.\n\nErgänzende Informationen zum Standort und den Terminen finden Sie auch in der\nNachbarschaftsinformation von Fördern & Wohnen (November 2024).\n\n",
+    "#  Cornelia Poletto Palazzo\n\n**Wann?** 07.11.2024 - 09.03.2025  \n**Wo?** Spiegelpalast in Hamburg-Altona, Waidmannstraße 26\n\nIn diesem Jahr geht der Cornelia Poletto Palazzo bereits in die neunte\nSpielzeit in Hamburg. Neben einem neuen Menü und neuem Programm erwartet Gäste\nder Dinner-Show auch ein neuer Standort: In der Saison 2024/25 ist der\nSpiegelpalast vom 07.11.2024 - 09.03.2025 in Hamburg-Altona zu\nfinden.\n\nTickets sind hier erhältlich: **Tickets buchen**\n\n##  Das Menü von Cornelia Poletto\n\nDie Hamburger Starköchin Cornelia Poletto hat für die Dinner-Show erneut ein\nVier-Gänge-Menü entworfen. Als Vorspeise werden ein Insalata nizzarda mit\nGrenaille-Kartoffeln, Thunfisch-Tatar, Artischocke und Kräutersud gereicht.\nDen Zwischengang bildet eine grüne Minestrone mit Burratacreme, Pistazien und\nMinzöl. Als Hauptgang folgt ein „Brasato di Festa“, ein italienischer, in\nBarolo geschmorter Rinderbraten mit cremiger Polenta, Balsamico-Apfel-Rotkohl\nund Maronen. Zum Schluss wird als Dessert die „Zitronen-Jette“ serviert:\nCrostata mit Amalfizitrone, Vanillecreme und Joghurteis. Für Vegetarier*innen\nsteht ein alternatives Menü zur Verfügung.\n\n##  Das Programm: „Family Affairs“\n\nNicht nur das Menü und der Standort sind neu: Auch das Programm zeigt sich in\nneuem Gewand. Unter dem Namen „Family Affairs“ erschafft das Ensemble den\nSchauplatz einer vermeintlich gewöhnlichen Familienfeier. Eine über die ganze\nWelt verteilte, ungleiche und meist auch uneinige Verwandtschaft trifft sich\nzu einer spannungsreichen und amüsanten Zusammenkunft. In diesem Rahmen können\ndie Zuschauer*innen sich auf Akrobatik, Comedy, Slapstick und Live-Musik\nfreuen.\n\n##  Über Palazzo\n\nDer Cornelia Poletto Palazzo ist zum neunten Mal in Hamburg. Palazzo-Shows mit\nMenüs anderer Köch*innen finden in Berlin, Nürnberg, Stuttgart und Wien statt.\nDas Konzept von Zirkus- bzw. Varieté-Shows, kombiniert mit einem gehobenen\ngastronomischen Angebot in der Atmosphäre eines Spiegelpalastes geht auf den\nSchweizer Produzenten und Gründer des „Zirkus Aladin“ Ueli Hirzel zurück.\nHirzel bereiste mit seinem Zirkus ab 1981 die Schweiz. 1990 brachten Bernhard\nPaul, Hans-Peter Wodarz und Alfons Schuhbeck das Konzept nach Deutschland.\n\n",
+    "#  Leonardo da Vinci in Hamburg\n\nNach dem großen Erfolg der immersiven Show Tutanchamun startete am 17.09.2024 die neue Ausstellung \"Leonardo da Vinci – uomo universale\" in\nHamburg.\n\nLeonard da Vinci - uomo universalis\n\nAlegria Exhibition GmbH\n\n##  Eine Reise durch das Leben des Genies\n\nMit einer aufwändigen immersiven Inszenierung nimmt die Ausstellung die\nBesucherinnen und Besucher mit auf eine Reise durch das Leben des Genies.\nGezeigt werden unter anderem Nachbildungen seiner zahlreichen Erfindungen und\nalle 16 Bilder, die ihm heute sicher zugeschrieben werden können. Das\nHerzstück der Ausstellung ist die immersive Inszenierung. Mittels Projektoren\nerwachen Werk und Welt des Universalgenies zu neuem Leben.\n\n**Tickets sind hier erhältlich:\n\nTickets buchen*\n\n**\n\n##  Erster unter den uomini universali\n\nLeonardo da Vinci (1452 - 1519) hatte durchaus berühmte Zeitgenossen, wie\nMichelangelo, Raffael oder Botticelli, doch niemand war so vielseitig.\n\nLeonardo war ein Universalgenie, war begnadeter Künstler, Wissenschaftler,\nIngenieur und Erfinder. Erster unter den uomini universali (Erster unter den\nUniversalmenschen)wurde Leonardo genannt. In der Renaissance beschrieb man so\ndas Idealbild eines Menschen.\n\n##  Berühmte Gemälde und Erfindungen\n\nZu Leonardos berühmtesten Gemälden zählen die _Dame mit Hermelin, Das letzte\nAbendmahl, Mona Lisa_ oder der _Vitruvianische Mensch._ Zu seinen Erfindungen\nzählen Fluggeräte, ein Helikopter, Fallschirm, mechanische Roboter, Panzer und\nvieles mehr.\n\n##  Info-Spalte\n\n##  Kontakt\n\nGaußhöfe\n\n  * Gaußstraße 190 22765 Hamburg \n\nEmpfohlene Besuchsdauer: ca. 65-75 Minuten\n\n  * +49 40 391771 \n\n  * Webauftritt aufrufen \n\n  * Kontakt speichern \n\n  * Adresse auf Karte anzeigen \n\n  * Anfahrt \n\n###  Termine\n\nTermin\n\n  01.09.2025 - 26.12.2024 \n\n###  Altersempfehlung:\n\nAltersempfehlung:\n\nAlle sind willkommen! Kinder unter 14 Jahren müssen in Begleitung ihrer\nEltern sein.\n\n###  Barrierefreiheit\n\nBarrierefreiheit\n\nDie Ausstellung ist barrierefrei.\n\nDisclaimer\n\n###  *Hinweis\n\n*Über die Einbindung dieses mit *Sternchen markierten Angebots erhalten wir beim Kauf möglicherweise eine Provision vom Händler. Die gekauften Produkte werden dadurch für Sie als Nutzerinnen und Nutzer nicht teurer. \n\n",
+    "#  MJ – Das Michael Jackson Musical\n\nDas Erfolgsmusical über den Ausnahmekünstler Michael Jackson ist seit Dezember\n2024 in Hamburg zu sehen! Tickets und Hotel können Sie hier bequem online\nbuchen.\n\nBenét Monteiro als Michael Jackson in MJ – Das Michael Jackson Musical.\n\nMatthew Murphy / Stage Entertainment\n\n##  Inhaltsverzeichnis\n\n  * Tickets buchen \n\n  * Tickets und Hotel buchen \n\n  * MJ – Das Michael Jackson Musical in Hamburg \n\n  * Die Entstehung der „Dangerous“-Welttournee \n\n##  **Tickets buchen**\n\nErleben Sie das mehrfach ausgezeichnete Musical MJ – Das Michael Jackson\nMusical.\n\nTickets buchen ab 63,99€*\n\n##  **Tickets und Hotel buchen**\n\nSie möchten Ihren Musical-Besuch mit einer Reise nach Hamburg verbinden? Hier\nkönnen Sie Ihre Tickets und Hotelübernachtung im Paket buchen:\n\nReisepaket: MJ – Das Michael Jackson Musical ab 134,60€*\n\nAlle Vorteile auf einen Blick:\n\n  * Übernachtung im ausgewählten Hotel inkl. Frühstück, Zusatznächte buchbar \n  * Musical-Ticket in der gewählten Preiskategorie \n  * Hamburg Card (3 Tage) – Ihr Entdeckerticket für freie Fahrt mit Bus und Bahn im Wert von 31,90€ \n\n##  MJ – Das Michael Jackson Musical in Hamburg\n\nMit Hits wie \"Billy Jean\", \"Beat it\" oder \"Thriller\" wurde Michael Jackson\nweltberühmt. Sein künstlerisches Talent und Charisma werden in dem Broadway-\nMusical über den Entertainer gewürdigt. Das Stück erhielt vier Tony Awards,\neine Grammy Nominierung für das Cast Album und hat bereits fast eine Million\nZuschauer*innen in New York begeistert.\n\nAm 01.12.2024 feierte MJ – Das Michael Jackson Musical jetzt seine\nDeutschlandpremiere! Das Stage Theater an der Elbe ist die Bühne für das\nMusical-Spektakel über die Musiklegende Michael Jackson.\n\n##  Trailer für MJ – Das Michael Jackson Musical\n\n###  Youtube Video aktivieren\n\nMit dem Laden des Videos akzeptierst Du die\n\naktuelle Datenschutzerklärung\n\nDieses Video aktivieren\n\nZu den Datenschutz-Bestimmungen\n\n##  Die Entstehung der „Dangerous“-Welttournee\n\nRund um die Entstehungsgeschichte der 1992 er „Dangerous“-Welttournee zeigt MJ\n– Das Michael Jackson Musical einige der beliebtesten und meistverkauften\nSongs der Musikgeschichte überhaupt. Während der Proben zur Tournee nimmt\nMichael Jackson das Publikum mit auf eine Reise durch sein Leben. Das Publikum\nkann sich auf die Moves und den unverwechselbaren Sound des Stars freuen –\nerhält aber auch seltene Einblicke in den Teamgeist und die schöpferische\nKraft, die Michael Jackson zur Legende werden ließen.\n\nFür die deutsche Produktion werden die Songs von Michael Jackson im englischen\nOriginal aufgeführt, während die Dialoge ins Deutsche übersetzt sind. Für die\nBesetzung der Hauptrolle in MJ – Das Michael Jackson Musical fanden\numfangreiche Castings statt. Am Ende konnte sich Musicaldarsteller Benét\nMonteiro durchsetzen. Der gebürtige Brasilianer steht als Michael Jackson auf\nder Musicalbühne.\n\n##  Termine für MJ – Das Michael Jackson Musical\n\n##  Anfahrt\n\nMJ – Das Michael Jackson Musical | Stage Theater an der Elbe \n\n  * [Norderelbstraße 8 \n\n20457 Hamburg](#)\n\n  * Kontakt speichern \n\n  * Adresse auf Karte anzeigen \n\n  * Anfahrt \n\n###  Termine\n\nTermin\n\nPremiere am 01.12.2024\n\n",
+    "#  Liedernachmittag\n\nLieder von R. Schubert, R. Franz, A. Webern, H. Wolf\n\n© MAK/LHH\n\nVortrag im Museum August Kestner\n\nMonika Abel, Sopran / Kathrin Isabelle Klein, Klavier\n\nTermine\n\n01.11.2025 ab 16:00\n\nOrt\n\nMuseum August Kestner\n\nPlatz der Menschenrechte 3\n\n30159 Hannover\n\nKonzertkarten: [email protected] und Tageskasse ab 15:00 im Museum\n\nUnter der Schirmherrschaft von Kammersängerin Helen Donath.\n\nBis zu viermal im Jahr laden wir zu einem Liedernachmittag im Museum ein.\n\nIn Zusammenarbeit mit: Lohmann-Stiftung für Liedgesang e.V., Hannover;\nFreundes- und Förderkreis des Museum August Kestner „Antike & Gegenwart e.V.“\n\n",
+    "##  Die goldene Stadt\n\n**Rom im Spiegel seiner Medaillen**\n\n© MAK/LHH\n\nVortrag im Museum August Kestner\n\nMit Dr. Martin Hersch (München)\n\nIn Kooperation mit dem Freundeskreis Antike und Gegenwart\n\n**Termine**\n\n15.01.2025 ab 18:00\n\n**Ort**\n\nMuseum August Kestner\n\nPlatz der Menschenrechte 3\n\n30159 Hannover\n\n**Eintritt**\n\n5,00 €\n\n**ermäßigter Eintritt**\n\n4,00 €\n\n",
+    "###\n\nVeranstaltungen\n\n#  Stadtansichten\n\n(Reise-)Geschichten zu Münzen aus Antike und Barock\n\n© Historisches Museum Hannover\n\nPostkarte Gruß aus Hannover, 1954\n\nErleben Sie bei einem Besuch der Sonderausstellung Städtetrip vielfältige und\nspannende Lyrik und Prosa verschiedener Autor*innen, nicht nur zum Thema\nReisen. Ausgewählt und vorgetragen von der Literarischen Komponistin und\nRezitatorin Marie Dettmer.\n\nTermine\n\n01.12.2025 ab 14:00-15:00\n\nOrt\n\nLandeshauptstadt Hannover\n\nTrammplatz 2\n\n30159 Hannover\n\n",
+    "#  Finissage der Sonderausstellung Bartmann, Bier und Tafelzier. Steinzeug in\nder niederländischen Malerei\n\n© Museum August Kestner\n\nDiverse Krüge aus der Ausstellung\n\nMit Kuratorinnenführung\n\n**Termine**\n\n18.01.2025 ab 11:00-18:00\n\n**Ort**\n\nMuseum August Kestner\n\nPlatz der Menschenrechte 3\n\n30159 Hannover\n\n",
+    "#  Nikolausmarkt\n\n##  Veranstaltungsinformationen\n\n  01.12.2024 – 08.12.2024 \n\n  2. Kulturhof \n\n© Stadt Bottrop\n\nWie in jedem Jahr organisiert das Kulturamt am zweiten Adventswochenende den\nNikolausmarkt im Kulturhof und im Umfeld des Kulturzentrums. Dabei gibt es ein\nbuntes Programm für die ganze Familie. Für die Kleinen gibt's die Möglichkeit,\nWeihnachtsgeschenke zu basteln. Das Spielmobil \"Rollmobs\" des Jugendamtes ist\nauch mit dabei und bietet jede Menge Bastel-, Back- und Nähaktionen an. In der\nLebendigen Bibliothek gibt es ein Lese- und Bastelangebot für Kinder und auch\ndie MEWA Nähstube ist hier zu finden.\n\nPrivate Kunsthandwerkerinnen und Kunsthandwerker geben einen Einblick in ihr\nSchaffen und verkaufen selbstgestalteten Schmuck, Strick- und Filzwaren. Auch\ngemeinnützige Einrichtungen sind mit von der Partie und verkaufen\nselbstgemachte Produkte. Ein Holzschnitzer aus Kirchhellen stellt zahlreiche\nHolzarbeiten aus und zeigt auch live, wie verschiedene Motive hergestellt\nwerden.\n\nIm Kulturhof wird wieder das RWW Weihnachtshaus aufgebaut, wo es heiße und\nkalte Getränke gibt. Außerdem gibt es ein weihnachtlich-gastronomisches\nAngebot auf dem Vorplatz des Kulturzentrums.\n\nDer ELE Winter-Express zieht seine Runden rund um das Kulturzentrum August\nEverding.\n\nIm B12 findet der Kunstmarkt „ARTvent“ statt, bei dem Bottroper KünstlerInnen\nihre Werke ausstellen und verkaufen.\n\nAlle kulturellen und spielerischen Angebote auf dem Nikolausmarkt sind\nkostenlos.\n\n* * *\n\n##  Programm\n\n**Der Nikolaus kommt am Freitag um 17:00!**\n\n**Filmforum:**  \nWeihnachtskino  \n\"Arthur Weihnachtsmann\"  \nSa 12.00 und 16:00, So 12:00  \nKindertheater  \nSa und So 15:00  \n**B12:** ARTvent  \n**Lebendige Bibliothek:**  \nLesungen und Basteln  \nMEWA Nähstube  \n**Kulturhof:**  \nKunsthandwerk, Sterne basteln  \n**Außerdem:** Der ELE Winter-Express  \nDas Spielmobil  \nMusikalische Walkacts  \nRiesenrad & Karussell\n\n##  Informationen\n\n| Beginn | Freitag 16:00-20:00 / Samstag 11:00-20:00 / Sonntag 11:00-18:00 | | --- | --- | \n\n##  Veranstaltungsort\n\nKulturhof\n\n##  Veranstalter\n\nKulturamt der Stadt Bottrop\n\n",
+    "#  Verleihung Erlanger Theaterpreis\n\nTheater in der Garage\n\nEinmal jährlich vergibt der Förderverein den Erlanger Theaterpreis für\nherausragende künstlerische Leistungen am Schauspiel Erlangen.\n\n##  Daten\n\nSo.\n\n8.12.\n\nkeine Anmeldung nötig\n\nTheater in der Garage\n\n19:00\n\nEintritt frei\n\n##  Infos\n\nMehr Infos zum Förderverein Theater Erlangen.\n\n",
+    "#  🎉 SILVESTER 2024 IM FOODKLUB 🎉\n\nFeiern Sie mit uns ins neue Jahr mit einem exquisiten levantinischen\nFestbuffet! Was Sie erwartet: • Reichhaltiges levantinisches Buffet • 48€ pro\nPerson • Erlesene Weine aus der Region • Erstklassiger fränkischer Secco •\nOptional: Champagner (auf Vorbestellung) ⚠️ Limitierte Plätze verfügbar!\nSichern Sie sich jetzt Ihren Tisch für einen unvergesslichen Jahresabschluss.\nReservierung unter: 📞 09131/9171462 📧 [email protected] Foodklub Ebrardstr.\n30, 91054 Erlangen\n\n",
+    "PIANOKLÄNGE & Herzgeschichten So, 15.12.2024\n===================================================\n\nVeranstalter: Stiftung Gemeinsam für Halle\n\nWo findet diese Veranstaltung statt? Lichthaus Halle  \nDreyhauptstraße 3  \n06108 Halle (Saale)\n\nWann findet diese Veranstaltung statt? So, 15.12.2024\n\nBeginn: 15:00\n\nEinlass: 14:30\n\nZum Kalender hinzufügen\n\n###  Tickets\n\n####  Ticket (Vorverkauf)\n\nAktuell verfügbar: 21\n\n18,00 € inkl. 7% MwSt.\n\n\\-\n\n\\+\n\nZur Kasse\n\n",
+
+]
+
+# texts = TEXTS
+
+
+date_time_extractor = DateTimeExtractor()
+
+for text in texts:
+    print("*"*100)
+    print(text)
+    date_time_extractor.extract(text)
+    print("*"*100)
+
+    # segments = date_time_extractor.text_segmentation(text)
+    # # Ausgabe der finalen Gruppen
+    # print("*"*100)
+    # print(text)
+    # print("\n\n")
+    # for segment in segments:
+    #     print("Relation: ", " ".join([element.text for element in segment]))
+    # print("*" * 100)
+

src/nlp/playground/pipelines/title_extractor.py

@@ -4,7 +4,14 @@ from src.utils.markdown_processing.CustomMarkdownAnalyzer.MarkdownAnalyzer impor
 from src.utils.markdown_processing.CustomMarkdownAnalyzer.MarkdownElements import Header
 import streamlit as st
 import pickle
+import joblib
+from huggingface_hub import login, hf_hub_download
+import os
+from dotenv import load_dotenv
 
+load_dotenv()
+token = os.getenv("HUGGING_FACE_SPACES_TOKEN")
+login(token=token)
 
 class TitleExtractor:
     def __init__(self):
@@ -50,8 +57,10 @@ class TitleExtractor:
     def extract_title_classy_classification(self,event_text):
         analyzer = MarkdownAnalyzer(event_text)
         identified_headers = analyzer.identify_headers()
-        f = open("src/nlp/playground/pipelines/classifier.pkl", "rb")
-        classifier = pickle.load(f)
+
+        classifier = joblib.load(
+            hf_hub_download(repo_id="adojo/title_classifier", filename="title_classifier" + ".pkl")
+        )
 
         headers = identified_headers["Header"] if identified_headers else analyzer.identify_emphasis()
         if headers:

src/nlp/relation_extraction.py

@@ -18,19 +18,6 @@ class Token:
     def __repr__(self):  # Automatische Ausgabe in print() oder Listen
         return self.text
 
-class EntityGroup:
-    def __init__(self):
-        self.group = []
-
-    @property
-    def text(self):
-        return " ".join([e.text for e in self.group])
-
-
-
-
-
-
 
 stop_words = ["*","a","aber","ach","acht","achte","achten","achter","achtes","ag","alle","allein","allem","allen","aller","allerdings","alles","allgemeinen","als","also","ander","andere","anderem","anderen","anderer","anderes","anderm","andern","anderer","anders","au","auch","auf","aus","ausser","ausserdem","außer","außerdem","b","bald","bei","beide","beiden","beim","beispiel","bekannt","bereits","besonders","besser","besten","bin","bisher","bist","c","d","d.h","da","dabei","dadurch","dafür","dagegen","daher","dahin","dahinter","damals","damit","daneben","dank","dann","daran","darauf","daraus","darf","darfst","darin","darum","darunter","darüber","das","dasein","daselbst","dass","dasselbe","davon","dazu","dazwischen","daß","dein","deine","deinem","deinen","deiner","deines","dem","dementsprechend","demgegenüber","demgemäss","demgemäß","demselben","demzufolge","den","denen","denn","denselben","der","deren","derer","derjenige","derjenigen","dermassen","dermaßen","derselbe","derselben","des","deshalb","desselben","dessen","deswegen","dich","die","diejenige","diejenigen","dies","diese","dieselbe","dieselben","diesem","diesen","dieser","dieses","dir","doch","dort","drei","drin","dritte","dritten","dritter","drittes","du","durch","durchaus","durfte","durften","dürfen","dürft","e","eben","ebenso","ehrlich","ei","ei,","eigen","eigene","eigenen","eigener","eigenes","ein","einander","eine","einem","einen","einer","eines","einig","einige","einigem","einigen","einiger","einiges","einmal","eins","elf","en","ende","endlich","entweder","er","ernst","erst","erste","ersten","erster","erstes","es","etwa","etwas","euch","euer","eure","eurem","euren","eurer","eures","f","folgende","früher","fünf","fünfte","fünften","fünfter","fünftes","für","g","gab","ganz","ganze","ganzen","ganzer","ganzes","gar","gedurft","gegen","gegenüber","gehabt","gehen","geht","gekannt","gekonnt","gemacht","gemocht","gemusst","genug","gerade","gern","gesagt","geschweige","gewesen","gewollt","geworden","gibt","ging","gleich","gott","gross","grosse","grossen","grosser","grosses","groß","große","großen","großer","großes","gut","gute","guter","gutes","h","hab","habe","haben","habt","hast","hat","hatte","hatten","hattest","hattet","heisst","her","heute","hier","hin","hinter","hoch","hätte","hätten","i","ich","ihm","ihn","ihnen","ihr","ihre","ihrem","ihren","ihrer","ihres","im","immer","in","indem","infolgedessen","ins","irgend","ist","j","ja","jahr","jahre","jahren","je","jede","jedem","jeden","jeder","jedermann","jedermanns","jedes","jedoch","jemand","jemandem","jemanden","jene","jenem","jenen","jener","jenes","jetzt","k","kam","kann","kannst","kaum","kein","keine","keinem","keinen","keiner","keines","kleine","kleinen","kleiner","kleines","kommen","kommt","konnte","konnten","kurz","können","könnt","könnte","l","lang","lange","leicht","leide","lieber","los","m","machen","macht","machte","mag","magst","mahn","mal","man","manche","manchem","manchen","mancher","manches","mann","mehr","mein","meine","meinem","meinen","meiner","meines","mensch","menschen","mich","mir","mit","mittel","mochte","mochten","morgen","muss","musst","musste","mussten","muß","mußt","möchte","mögen","möglich","mögt","müssen","müsst","müßt","n","na","nach","nachdem","nahm","natürlich","neben","nein","neue","neuen","neun","neunte","neunten","neunter","neuntes","nicht","nichts","nie","niemand","niemandem","niemanden","noch","nun","nur","o","ob","oben","oder","offen","oft","ohne","ordnung","p","q","r","recht","rechte","rechten","rechter","rechtes","richtig","rund","s","sa","sache","sagt","sagte","sah","satt","schlecht","schluss","schon","sechs","sechste","sechsten","sechster","sechstes","sehr","sei","seid","seien","sein","seine","seinem","seinen","seiner","seines","seit","seitdem","selbst","sich","sie","sieben","siebente","siebenten","siebenter","siebentes","sind","so","solang","solche","solchem","solchen","solcher","solches","soll","sollen","sollst","sollt","sollte","sollten","sondern","sonst","soweit","sowie","später","startseite","statt","steht","suche","t","tag","tage","tagen","tat","teil","tel","tritt","trotzdem","tun","u","uhr","und","uns","unse","unsem","unsen","unser","unsere","unserer","unses","unter","v","vergangenen","viel","viele","vielem","vielen","vielleicht","vier","vierte","vierten","vierter","viertes","vom","von","vor","w","wahr","wann","war","waren","warst","wart","warum","was","weg","wegen","weil","weit","weiter","weitere","weiteren","weiteres","welche","welchem","welchen","welcher","welches","wem","wen","wenig","wenige","weniger","weniges","wenigstens","wenn","wer","werde","werden","werdet","weshalb","wessen","wie","wieder","wieso","will","willst","wir","wird","wirklich","wirst","wissen","wo","woher","wohin","wohl","wollen","wollt","wollte","wollten","worden","wurde","wurden","während","währenddem","währenddessen","wäre","würde","würden","x","y","z","z.b","zehn","zehnte","zehnten","zehnter","zehntes","zeit","zu","zuerst","zugleich","zum","zunächst","zur","zurück","zusammen","zwanzig","zwar","zwei","zweite","zweiten","zweiter","zweites","zwischen","zwölf","über","überhaupt","übrigens"]
 
@@ -187,10 +174,9 @@ for text in texts:
     for element in md_elements:
         text = element.text
         text = normalize_data(text)
-        text = text.replace(" und ", " + ")
-        text = text.replace(" bis ", " - ")
-        text = text.replace(" um ", " ")
-        text = text.replace(" ab ", " ")
+        replacements = {" und ": " + ", " bis ": " - ", " um ": " ", " ab ": " "}
+        for old, new in replacements.items():
+            text = text.replace(old, new)
         # text = remove_stopwords(text)
         doc = nlp(text)
         for sent in doc.sents:

src/utils/apis/open_router_api.py

@@ -0,0 +1,61 @@
+from openai import OpenAI
+
+from src.nlp.data.test_texts import TEXTS
+
+class ModelName:
+    DEEP_SEEK_R1 = "deepseek/deepseek-r1:free"
+    DEEP_SEEK_R1_DISTILL_LLAMA = "deepseek/deepseek-r1-distill-llama-70b:free"
+    QWEN_CODER_INSTRUCT = "qwen/qwen-2.5-coder-32b-instruct:free"
+
+client = OpenAI(
+  base_url="https://openrouter.ai/api/v1",
+  api_key="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",
+)
+
+def deep_seek_extraction(text, model_name: str):
+    return client.chat.completions.create(
+      extra_headers={
+        # "HTTP-Referer": "<YOUR_SITE_URL>", # Optional. Site URL for rankings on openrouter.ai.
+        # "X-Title": "<YOUR_SITE_NAME>", # Optional. Site title for rankings on openrouter.ai.
+      },
+      extra_body={},
+      model=model_name,
+      messages=[
+        {
+          "role": "user",
+          "content": """
+            Extrahiere die Veranstaltungsdaten (wenn vorhanden) aus dem Text in folgendem JSON Format:
+            { 
+                "title": String,
+                "start_date": String,
+                "end_date": String | None,
+                "start_time": String | None,
+                "end_time": String | None,
+                "admittance_time": String | None,
+                "location_name": String | None,
+                "adress": {
+                    "street": String | None,
+                    "housenumber": String | None,
+                    "postal_code": String | None,
+                    "city": String | None,
+                }
+                "categories": Array<String> | None,
+                "organizers": Array<String> | None,
+            }
+            
+            Text:
+          """
+            + text
+
+        }
+      ]
+    )
+
+for text in TEXTS:
+    print("*"*100)
+    print("TEXT")
+    print(text)
+    completion = deep_seek_extraction(text, ModelName.QWEN_CODER_INSTRUCT)
+    print("DATA:")
+    print(completion.choices[0].message.content)
+    print("*"*100)