refactor testing

src/nlp/experimental/textclassification/classify_title.py

@@ -1,5 +1,6 @@
-import spacy
-import classy_classification
+import pickle
+
+from classy_classification import ClassyClassifier
 
 train_data ={
       "Veranstaltungstitel": [
@@ -338,104 +339,85 @@ train_data ={
     ]
 }
 
-# test_data = {
-#     "Veranstaltungstitel": [
-#         "Feuer & Flamme – Eine Nacht voller Überraschungen",
-#         "Jetzt oder nie!",
-#         "Die vergessenen Töne",
-#         "Warum nicht? Ein philosophischer Abend",
-#         "Von Wundern und Wirklichkeit",
-#         "Erzähl mir eine Geschichte...",
-#         "Unter Strom – Eine Licht- und Soundinstallation",
-#         "HORIZONTE ERWEITERN",
-#         "Zuhören, Staunen, Lachen",
-#         "Ein Blick genügt.",
-#         "Schatten der Vergangenheit – Eine Spurensuche",
-#         "ALLES MUSS RAUS!",
-#         "Und plötzlich war alles anders.",
-#         "DAS ENDE ODER EIN NEUER ANFANG?",
-#         "Ein Moment für die Ewigkeit",
-#         "Die Farbe der Nacht",
-#         "Flüstern & Rauschen",
-#         "GRENZENLOS",
-#         "Was, wenn…?",
-#         "Sonderführung: Das Unsichtbare sichtbar machen",
-#         "Tanz der Elemente",
-#         "Magie des Augenblicks",
-#         "DIE ZEIT STEHT STILL",
-#         "Bühne frei! – Eine Nacht voller Geschichten",
-#         "Letzte Runde – Abschiedskonzert der Moonlight Band",
-#         "Reise in eine andere Welt",
-#         "Heute schon gestaunt?",
-#         "Ungehörte Stimmen",
-#         "Frei sein.",
-#         "Zwischen den Zeilen lesen",
-#         "Cro",
-#         "Helene Fischer live"
-#     ],
-#     "Abschnittstitel": [
-#         "Hier gibt’s Infos",
-#         "Wichtig!",
-#         "So läuft’s ab",
-#         "Wann & wo?",
-#         "PLÄNE & ABLAUF",
-#         "Hinkommen & mitmachen",
-#         "Wie funktioniert das?",
-#         "Ankommen leicht gemacht",
-#         "Was kostet es?",
-#         "Preise & Buchung",
-#         "Sitzplätze & Reservierungen",
-#         "Freier Eintritt oder nicht?",
-#         "Anmeldung erforderlich?",
-#         "Noch Fragen?",
-#         "Regeln & Hinweise",
-#         "Vorsicht & Sicherheit",
-#         "Besucherinfos",
-#         "Speis & Trank",
-#         "Essen & Drinks",
-#         "Party danach?",
-#         "Meetup & Austausch",
-#         "Soziale Medien & Hashtags",
-#         "Helfer & Team",
-#         "Mit wem arbeiten wir?",
-#         "Unsere Partner",
-#         "DIE WICHTIGSTEN INFOS",
-#         "Presse & Berichte",
-#         "Hier melden!",
-#         "Kontakt & Support",
-#         "KONTAKTIERE UNS",
-#         "Was ist, wenn…?",
-#         "Das sollten Sie wissen!"
-#     ]
-# }
+test_data = {
+    "Veranstaltungstitel": [
+        "Feuer & Flamme – Eine Nacht voller Überraschungen",
+        "Jetzt oder nie!",
+        "Die vergessenen Töne",
+        "Warum nicht? Ein philosophischer Abend",
+        "Von Wundern und Wirklichkeit",
+        "Erzähl mir eine Geschichte...",
+        "Unter Strom – Eine Licht- und Soundinstallation",
+        "HORIZONTE ERWEITERN",
+        "Zuhören, Staunen, Lachen",
+        "Ein Blick genügt.",
+        "Schatten der Vergangenheit – Eine Spurensuche",
+        "ALLES MUSS RAUS!",
+        "Und plötzlich war alles anders.",
+        "DAS ENDE ODER EIN NEUER ANFANG?",
+        "Ein Moment für die Ewigkeit",
+        "Die Farbe der Nacht",
+        "Flüstern & Rauschen",
+        "GRENZENLOS",
+        "Was, wenn…?",
+        "Sonderführung: Das Unsichtbare sichtbar machen",
+        "Tanz der Elemente",
+        "Magie des Augenblicks",
+        "DIE ZEIT STEHT STILL",
+        "Bühne frei! – Eine Nacht voller Geschichten",
+        "Letzte Runde – Abschiedskonzert der Moonlight Band",
+        "Reise in eine andere Welt",
+        "Heute schon gestaunt?",
+        "Ungehörte Stimmen",
+        "Frei sein.",
+        "Zwischen den Zeilen lesen",
+        "Cro",
+        "Helene Fischer live"
+    ],
+    "Abschnittstitel": [
+        "Hier gibt’s Infos",
+        "Wichtig!",
+        "So läuft’s ab",
+        "Wann & wo?",
+        "PLÄNE & ABLAUF",
+        "Hinkommen & mitmachen",
+        "Wie funktioniert das?",
+        "Ankommen leicht gemacht",
+        "Was kostet es?",
+        "Preise & Buchung",
+        "Sitzplätze & Reservierungen",
+        "Freier Eintritt oder nicht?",
+        "Anmeldung erforderlich?",
+        "Noch Fragen?",
+        "Regeln & Hinweise",
+        "Vorsicht & Sicherheit",
+        "Besucherinfos",
+        "Speis & Trank",
+        "Essen & Drinks",
+        "Party danach?",
+        "Meetup & Austausch",
+        "Soziale Medien & Hashtags",
+        "Helfer & Team",
+        "Mit wem arbeiten wir?",
+        "Unsere Partner",
+        "DIE WICHTIGSTEN INFOS",
+        "Presse & Berichte",
+        "Hier melden!",
+        "Kontakt & Support",
+        "KONTAKTIERE UNS",
+        "Was ist, wenn…?",
+        "Das sollten Sie wissen!"
+    ]
+}
 # test_data = {"Veranstaltungstitel": [d for d in test_data["Veranstaltungstitel"] if d not in train_data["Veranstaltungstitel"]],
 #              "Abschnittstitel": [d for d in test_data["Abschnittstitel"] if d not in train_data["Abschnittstitel"]]}
 # print(len(test_data["Veranstaltungstitel"]), " | " , len(test_data["Abschnittstitel"]))
 #
-# nlp = spacy.load("de_core_news_lg")
-# nlp.add_pipe(
-#     "classy_classification",
-#     config={
-#         "data": train_data,
-#         "model": "spacy",
-#     }
-# )
 #
 #
-# for text in test_data["Veranstaltungstitel"]:
-#     print(text)
-#     print("*"*100)
-#     # print(nlp(text)._.cats)
-#     cats = sorted(nlp(text)._.cats.items(), key=lambda x: x[1], reverse=True)
-#     print(f"{cats[0][0]}")
-#     print("*"*100)
-#
-# print("\n\n\n\n\n")
-# for text in test_data["Abschnittstitel"]:
-#     print(text)
-#     print("*"*100)
-#     # print(nlp(text)._.cats)
-#     cats = sorted(nlp(text)._.cats.items(), key=lambda x: x[1], reverse=True)
-#     print(f"{cats[0][0]}")
-#     print("*"*100)
+# classifier = ClassyClassifier(data=train_data)
+# classifier.set_embedding_model(model="stsb-xlm-r-multilingual")
+# with open("title_classifier.pkl", "wb") as f:
+#     pickle.dump(classifier, f)
+
 

src/nlp/playground/pipelines/event_data_extractor.py

@@ -25,9 +25,9 @@ class EventDataExtractor:
         event = Event()
         event.title = self.extract_title(data)
         event.categories = self.extract_categories(data)
-        event.locations = self.extract_locations(data)
-        event.organizers = self.extract_organizers(data)
         event.address = self.extract_address(data)
+        event.locations = self.extract_locations(data, event.address)
+        event.organizers = self.extract_organizers(data)
         event.schedule = self.extract_schedule(data)
         event.description = self.extract_description(data, event.title)
         event.prices = self.extract_prices(data)
@@ -71,17 +71,18 @@ class EventDataExtractor:
         print(f"Extracted categories: {categories}")
         return categories
 
-    def extract_locations(self, data):
+    def extract_locations(self, data, address):
+        address = address if address else ""
         print("Extracting locations...")
-        entities = self.gliner_handler.extract_entities(data, ["EVENT_LOCATION_NAME"])
-        locations = list(set([item["text"] for item in entities if item["label"] == "EVENT_LOCATION_NAME"]))
-
-        print(f"Extracted locations: {locations}")
-        return locations
+        entities = self.gliner_handler.extract_entities(data, ["Lokalität", "Adresse"])
+        print(entities)
+        if entities:
+            return list(set([entity["text"] for entity in entities if entity["label"] == "Lokalität" and entity["text"] != "" and entity["text"] not in address]))
+        return []
 
     def extract_organizers(self, data):
         print("Extracting organizers...")
-        entities = self.gliner_handler.extract_entities(data, ["EVENT_ORGANIZERS"])
+        entities = self.gliner_handler.extract_entities(data, ["EVENT_ORGANIZER"])
         organizers = list(set([item["text"] for item in entities if item["label"] == "EVENT_ORGANIZER"]))
 
         print(f"Extracted organizers: {organizers}")
@@ -99,13 +100,13 @@ class EventDataExtractor:
 
     def extract_prices(self, data):
         print("Extracting prices...")
-        entities = self.gliner_handler.extract_entities(data, ["Eintrittspreis der Veranstaltung"])
+        entities = self.gliner_handler.extract_entities(data, ["Eintrittspreis"])
         print(entities)
-        filtered_entities = [e["text"] for e in entities if e["text"] and re.search(r'\d', e["text"]) and e["score"]>=0.4]
+        filtered_entities = [e["text"] for e in entities if e["text"] and re.search(r'\d\s*(€|EUR|eur|Eur|Euro|euro|euros|EURO)', e["text"]) and e["score"]>=0.4]
 
         prices = [re.findall(r'\d+(?:[.,]\d+)?', price) for price in filtered_entities]
 
-        prices = [p.replace(",", ".") + "€" for sublist in prices for p in sublist]
+        prices = [p.replace(",", ".") + " €" for sublist in prices for p in sublist]
 
         entrance_free_category = self.zero_shot_classifier.classify(data, CustomMode(
             ["Eintritt frei", "Ticket", "Preis"],

src/nlp/playground/pipelines/testing/event_data_extractor_testing.py

@@ -1,5 +1,6 @@
 import csv
 import gc
+import re
 import time
 
 import pandas as pd
@@ -22,22 +23,33 @@ def init_db_entries():
     filtered_elements = []
     for el in elements:
         if all(f not in el.get("markdown", "") for f in filter_data):
-            filtered_elements.append(el)
+            dates = el.get("information", {}).get("actual", {}).get("dates", [])
+            if dates:
+                filtered_elements.append(el)
     print(f"{len(filtered_elements)} Testdatensätze in der Datenbank")
-    return filtered_elements
+    return filtered_elements[52:]
 
 def event_similarity(actual, predicted):
     # Liste der Attribute, die verglichen werden
     attributes = {
         "title": (actual.title, predicted.title),
         "schedule": (actual.schedule, predicted.schedule),
-        "prices": (actual.prices, predicted.prices),
+        "prices": (sorted(actual.prices), sorted(predicted.prices)),
         "address": (actual.address, predicted.address),
-        "organizers": (actual.organizers, predicted.organizers),
+        "organizers": (sorted(actual.organizers), sorted(predicted.organizers)),
+        "location": (sorted(actual.locations), sorted(predicted.locations)),
     }
 
     # Dictionary mit 1 für Übereinstimmung, 0 für Abweichung
-    match_results = {attr: int(act == pred) for attr, (act, pred) in attributes.items()}
+    match_results = {
+        "title": int(actual.title == predicted.title),
+        "schedule": int(actual.schedule == predicted.schedule),
+        "prices": len([price for price in predicted.prices if price in actual.prices]) / len(actual.prices) if actual.prices and predicted.prices else int(actual.prices == predicted.prices),
+        "address": int(actual.address == predicted.address),
+        "organizers": len([organizer for organizer in predicted.organizers if organizer in actual.organizers]) / len(actual.organizers) if actual.organizers and predicted.organizers else int(actual.organizers == predicted.organizers),
+        "location": len([location for location in predicted.locations if location in actual.locations]) / len(actual.locations) if actual.locations and predicted.locations else int(actual.locations == predicted.locations),
+    }
+    # match_results = {attr: int(act == pred) for attr, (act, pred) in attributes.items()}
 
     # Berechnung der Gesamtähnlichkeit
     similarity_percentage = (sum(match_results.values()) / len(attributes)) * 100
@@ -59,7 +71,7 @@ count = 0
 
 with open('results.csv', 'a', newline='') as csvfile:
     writer = csv.writer(csvfile, delimiter=' ')
-    header = ["url", "title", "schedule", "prices", "address", "organizers", "extraction_time"]
+    header = ["url", "title", "schedule", "prices", "address", "organizers", "location", "extraction_time"]
     writer.writerow(header)
 
 for el in elements:
@@ -77,10 +89,15 @@ for el in elements:
     actual_event.organizers = [org.strip() for org in el.get("information", {}).get("actual", {}).get("organizers", []) if
                                org.strip()]
     actual_event.categories = el.get("information", {}).get("actual", {}).get("categories", [])
-    actual_event.locations = [
-        loc.strip() for loc in el.get("information", {}).get("actual", {}).get("locations", []) if loc.strip()
+    location = el.get("information", {}).get("actual", {}).get("location", "")
+    actual_event.locations = [location.strip()] if location else []
+    prices = el.get("information", {}).get("actual", {}).get("prices", [])
+    formatted_prices = [
+        "kostenlos" if "kostenlos" in price.lower() or "frei" in price.lower()
+        else f"{p.replace(',', '.')} €"
+        for price in prices for p in re.findall(r'\d+(?:[.,]\d+)?', price)
     ]
-    actual_event.prices = el.get("information", {}).get("actual", {}).get("prices", [])
+    actual_event.prices = formatted_prices
     address  = el.get("information", {}).get("actual", {}).get("address")
     if address:
         address = address.get("formatted")
@@ -89,11 +106,12 @@ for el in elements:
 
 
     dates = el.get("information", {}).get("actual", {}).get("dates", [])
-    actual_event.schedule = [
+    schedules = [
         Schedule(date.get("start_date", None), date.get("end_date", None), date.get("start_time", None),
                  date.get("end_time", None), date.get("admittance_time", None))
         for date in dates]
 
+    actual_event.schedule = [schedule for schedule in schedules if len(schedule) > 0]
 
     if not actual_event.schedule:
         continue
@@ -114,7 +132,7 @@ for el in elements:
                                 quotechar='|', quoting=csv.QUOTE_MINIMAL)
             writer.writerow(
                 [actual_event.url, match_results["title"], match_results["schedule"], match_results["prices"],
-                 match_results["address"], match_results["organizers"], duration])
+                 match_results["address"], match_results["organizers"], match_results["location"], duration])
 
         # prediction_results.append({"similarity": similarity, "match_results": match_results})
         print("************** ORIGINAL NORMALIZED *******************")
@@ -160,28 +178,29 @@ field_sums = {
     "prices": df["prices"].sum(),
     "address": df["address"].sum(),
     "organizers": df["organizers"].sum(),
+    "location":df["location"].sum(),
 }
 
 total_events = len(df)  # Gesamtanzahl der Events
 percentages = {key: (value / total_events) * 100 for key, value in field_sums.items()}  # Berechne Prozentwerte
 
-# 📊 Graphen erstellen
 plt.figure(figsize=(10, 6))
 bars = plt.bar(field_sums.keys(), field_sums.values(), color=["blue", "orange", "green", "red", "purple"])
 
-# Prozentwerte unter den Balken hinzufügen
+# 📊 Prozentwerte UNTER den Balken hinzufügen
 for bar, (key, percent) in zip(bars, percentages.items()):
-    plt.text(bar.get_x() + bar.get_width() / 2, -0.05 * total_events, f"{percent:.1f}%",
+    plt.text(bar.get_x() + bar.get_width() / 2, bar.get_height() - 0.2, f"{percent:.1f}%",
              ha="center", va="top", fontsize=10, color="black")
 
 # 🏷️ Achsenbeschriftungen & Titel
 plt.xlabel("Event Attribute")
 plt.ylabel("Anzahl der Übereinstimmungen")
-plt.title(f"Summierte Übereinstimmungen pro Event-Attribut")
+plt.title("Summierte Übereinstimmungen pro Event-Attribut")
 
-# 📝 Info-Box mit Anzahl der Events
-info_text = f"Getestete Events: {total_events}\nDurchschnittliche Verarbeitungszeit: {float(df['extraction_time'].sum()) / total_events:.2f}s"
-plt.text(0.5, total_events * 1.05, info_text, fontsize=12, ha="center", bbox=dict(facecolor="white", alpha=0.8))
+# 📌 Info-Box OBEN LINKS im Graphen platzieren
+info_text = f"Getestete Daten: {total_events}\nDurchschnittliche Verarbeitungszeit: {float(df['extraction_time'].sum()) / total_events:.2f}s"
+plt.annotate(info_text, xy=(0.02, 0.85), xycoords="axes fraction", fontsize=12, ha="left",
+             bbox=dict(facecolor="white", alpha=0.8))
 
 plt.ylim(0, total_events * 1.2)  # Maximale Höhe etwas erhöhen für bessere Lesbarkeit
 plt.grid(axis="y", linestyle="--", alpha=0.7)

src/nlp/playground/pipelines/testing/location_extractor_testing.py

@@ -0,0 +1,11 @@
+from src.nlp.playground.pipelines.event_data_extractor import EventDataExtractor
+from src.resources.TEXTS import TEXTS
+
+event_extractor = EventDataExtractor()
+
+for text in TEXTS:
+    print(text)
+    location = event_extractor.extract_locations(text)
+    print("*"*50," LOCATION ", "*"*50)
+    print(location)
+    print("*"*100)

src/nlp/playground/pipelines/testing/results.csv

@@ -1,45 +1,94 @@
-url title schedule prices address organizers extraction_time
-https://www.tib.eu/de/die-tib/neuigkeiten-und-termine/termine/detail/technik-salon-an-der-tib-fly-rocket-fly-am-5-dezember-2024-termin 1 0 1 1 0 35.42548489570618
-https://www.tib.eu/de/die-tib/neuigkeiten-und-termine/termine/detail/7-workshop-retrodigitalisierung 1 0 1 0 0 43.281203508377075
-https://www.tib.eu/de/die-tib/neuigkeiten-und-termine/aktuelles/detail/acm-wsdm-2025-renommierte-konferenz-zu-websuche-und-data-mining-in-hannover 1 1 1 1 1 35.2250120639801
-https://www.eventbrite.de/e/infoveranstaltung-fur-geistliche-mutter-und-vater-tickets-1054784050489 1 1 1 1 0 36.139039754867554
-http://www.cz-darmstadt.de/heiligabend 1 1 1 0 1 21.55298924446106
-https://www.hamburg.de/politik-und-verwaltung/bezirke/altona/aktuelles/veranstaltungen/oeffentliche-besichtigung-notstandort-taskoepruestrasse-991296 1 0 1 0 0 21.55430579185486
-https://www.hamburg.de/kultur/ausstellung/immersiv/leonardo-da-vinci-uomo-universale-960112 1 0 1 1 1 60.79920482635498
-https://www.hamburg.de/kultur/musical-show/mj-das-michael-jackson-musical-401234 1 1 0 1 1 57.005038022994995
-https://www.hannover.de/Museum-August-Kestner/Veranstaltungen/Veranstaltungskalender/Stadtansichten 1 0 1 1 1 23.063420295715332
-https://www.bottrop.de/veranstaltungskalender/veranstaltungen/nikolausmarkt.php 1 0 1 0 1 61.3490846157074
-https://schauspiel-erlangen.de/spielzeiten/2024-25/verleihung-erlanger-theaterpreis 1 0 1 1 0 15.519769191741943
-http://foodklub.de/events/silvester-2024 1 0 0 1 0 18.008203744888306
-https://www.rpi-heilbronn.de/veranstaltungen/zwischendrin.html 0 0 1 1 1 23.52090287208557
-https://sda.drs.de/grund-haupt-werkreal-real-gemeinschaftsschulen-u-sbbz/heilbronn/aktuelles.html 0 0 1 1 1 43.98276495933533
-https://www.grimmwelt.de/de/kalender/fuehrung-fuer-personen-mit-demenz 1 0 0 0 1 32.07971978187561
-https://www.grimmwelt.de/de/kalender/dornroeschen-und-frau-holle 0 0 0 1 1 52.999778747558594
-https://www.grimmwelt.de/de/kalender/die-grimmwelt-von-a-z-3 1 0 0 0 1 32.30589199066162
-https://www.grimmwelt.de/de/kalender/von-der-maerchensammlung-zum-woerterbuch 0 0 0 0 1 40.03740310668945
-http://www.eurogress-aachen.de/veranstaltungskalender/2024-12-16/mo-torres-uebertrieben-unplugged-tour-2024 1 0 1 0 0 35.705604791641235
-http://www.eurogress-aachen.de/veranstaltungskalender/2024-12-29/die-schoene-und-das-biest-das-musical 1 0 1 1 0 31.99103879928589
-http://www.eurogress-aachen.de/veranstaltungskalender/2024-12-11/groundstar-user-conference-2024 1 0 1 1 0 23.615651607513428
-http://www.eurogress-aachen.de/veranstaltungskalender/2024-12-15/weihnachtskonzert-staedtische-musikdirektion 1 0 1 1 0 39.38885021209717
-http://www.eurogress-aachen.de/veranstaltungskalender/2024-12-09/last-christmas-miracle 1 0 1 1 0 26.399235725402832
-http://www.eurogress-aachen.de/veranstaltungskalender/2024-12-20/hoehner-weihnacht 1 0 1 1 0 37.120139360427856
-https://www.alivechurch.de/weihnachten/ 1 0 0 0 1 40.488184452056885
-https://www.alivechurch.de/alphakurs 1 0 1 0 1 46.878479957580566
-https://www.emk-karlsruhe.de/nachbarschaftsfest-am-6-7-juli-in-durlach-aue/ 0 0 1 0 0 68.08993816375732
-https://www.emk-karlsruhe.de/einfuehrung-des-neuen-leiters-der-jugendkirche-am-1-12/ 1 0 1 0 1 63.933032512664795
-https://www.emk-karlsruhe.de/offene-kirche-engel/ 0 0 1 0 1 18.158240795135498
-https://www.emk-karlsruhe.de/adventsmarkt-in-der-kapelle-am-30-11/ 0 0 1 0 1 20.265835523605347
-https://theater-koblenz.de/programm/ganzohr-literaturfestival/ 1 0 1 0 1 20.117928743362427
-https://www.visit-lahnstein.de/theater/programm/ 0 0 1 0 1 54.21534490585327
-https://www.museum-am-schoelerberg.de/buchungsangebote/captain-schnuppes-weltraumreise-2/20278 1 0 0 0 1 55.46729636192322
-https://www.museum-am-schoelerberg.de/buchungsangebote/das-astronomiejahr-2025/20416 1 1 0 0 1 37.043548822402954
-https://www.museum-am-schoelerberg.de/buchungsangebote/die-olchis-das-grosse-weltraumabenteuer/20743 1 0 0 0 1 70.51803207397461
-https://www.museum-am-schoelerberg.de/buchungsangebote/wer-rettet-den-weihnachtsmann/ 1 0 0 0 1 97.42928767204285
-https://www.museum-am-schoelerberg.de/buchungsangebote/queen-heaven/ 1 0 0 0 1 58.0540816783905
-https://ev-stjohann.de/events/eschberg-lebendiger-adventskalender-am-3-und-4-advent/ 1 0 1 0 0 22.740347385406494
-https://ev-stjohann.de/events/oek-weihnachsvesper/ 1 0 1 0 0 18.35256814956665
-https://ev-stjohann.de/events/kindergottesdienst-70/ 1 0 1 0 0 16.384174585342407
-https://ev-stjohann.de/events/kindergottesdienst-69/ 1 0 1 0 0 16.933809995651245
-https://ev-stjohann.de/events/johanneskirche-das-licht-scheint-in-der-finsternis-gottesdienst-mit-dance-performance/ 1 0 1 0 1 44.44033980369568
-https://ahmadiyya.de/events/islamausstellung-in-hemer-2/ 1 0 1 0 0 108.16240310668945
-https://halo.club/event/why-so-serious-13-12/ 1 0 0 0 1 235.09041738510132
+url title schedule prices address organizers location extraction_time
+https://www.tib.eu/de/die-tib/neuigkeiten-und-termine/termine/detail/technik-salon-an-der-tib-fly-rocket-fly-am-5-dezember-2024-termin 1 1 0 1 0.0 0.0 43.717700242996216
+https://www.tib.eu/de/die-tib/neuigkeiten-und-termine/termine/detail/7-workshop-retrodigitalisierung 1 0 1 1 0.75 0 49.21727967262268
+https://www.tib.eu/de/die-tib/neuigkeiten-und-termine/aktuelles/detail/acm-wsdm-2025-renommierte-konferenz-zu-websuche-und-data-mining-in-hannover 1 1 1 1 0 1 34.70475196838379
+https://www.eventbrite.de/e/infoveranstaltung-fur-geistliche-mutter-und-vater-tickets-1054784050489 1 1 1 1 1.0 1 37.44318437576294
+http://www.cz-darmstadt.de/heiligabend 1 1 1 1 0 1 20.86623740196228
+https://www.hamburg.de/politik-und-verwaltung/bezirke/altona/aktuelles/veranstaltungen/oeffentliche-besichtigung-notstandort-taskoepruestrasse-991296 1 1 1 0 1.0 0.0 29.26156735420227
+https://www.hamburg.de/kultur/ausstellung/immersiv/leonardo-da-vinci-uomo-universale-960112 1 0 1 1 1 1 73.98112225532532
+https://www.hamburg.de/kultur/musical-show/mj-das-michael-jackson-musical-401234 1 1 1.0 1 0 1 58.78098440170288
+https://www.hannover.de/Museum-August-Kestner/Veranstaltungen/Veranstaltungskalender/Stadtansichten 1 1 1 1 0 0.0 16.56206512451172
+https://www.bottrop.de/veranstaltungskalender/veranstaltungen/nikolausmarkt.php 1 0 0 0 0 1.0 80.8017590045929
+https://schauspiel-erlangen.de/spielzeiten/2024-25/verleihung-erlanger-theaterpreis 1 0 0 1 0.0 1.0 13.861144542694092
+http://foodklub.de/events/silvester-2024 1 0 1.0 1 1.0 0 20.870990991592407
+https://www.rpi-heilbronn.de/veranstaltungen/zwischendrin.html 0 0 1 1 0 1.0 23.867390632629395
+https://sda.drs.de/grund-haupt-werkreal-real-gemeinschaftsschulen-u-sbbz/heilbronn/aktuelles.html 1 1 1 1 0 0.0 49.501890659332275
+https://www.grimmwelt.de/de/kalender/fuehrung-fuer-personen-mit-demenz 1 0 1.0 1 0 0.0 35.93979334831238
+https://www.grimmwelt.de/de/kalender/dornroeschen-und-frau-holle 0 1 1.0 1 0 1.0 81.40064716339111
+https://www.grimmwelt.de/de/kalender/die-grimmwelt-von-a-z-3 1 0 1.0 0 0 0.0 34.69148111343384
+https://www.grimmwelt.de/de/kalender/von-der-maerchensammlung-zum-woerterbuch 0 0 1.0 1 0 0.0 48.23841381072998
+http://www.eurogress-aachen.de/veranstaltungskalender/2024-12-16/mo-torres-uebertrieben-unplugged-tour-2024 1 1 1 0 1.0 1.0 39.58735251426697
+http://www.eurogress-aachen.de/veranstaltungskalender/2024-12-29/die-schoene-und-das-biest-das-musical 1 1 1 1 1.0 1.0 33.0947539806366
+http://www.eurogress-aachen.de/veranstaltungskalender/2024-12-11/groundstar-user-conference-2024 1 0 1 1 1.0 1.0 20.838589191436768
+http://www.eurogress-aachen.de/veranstaltungskalender/2024-12-15/weihnachtskonzert-staedtische-musikdirektion 1 1 1 1 0.0 1.0 43.034565925598145
+http://www.eurogress-aachen.de/veranstaltungskalender/2024-12-09/last-christmas-miracle 1 0 1 1 1.0 1.0 27.90658688545227
+http://www.eurogress-aachen.de/veranstaltungskalender/2024-12-20/hoehner-weihnacht 1 0 1 1 1.0 1.0 39.0615758895874
+https://www.alivechurch.de/weihnachten/ 1 1 0 1 0 1.0 53.24011707305908
+https://www.alivechurch.de/alphakurs 1 0 0 1 0 1 60.60767650604248
+https://www.emk-karlsruhe.de/nachbarschaftsfest-am-6-7-juli-in-durlach-aue/ 0 0 1 0 0.0 1.0 58.35703468322754
+https://www.emk-karlsruhe.de/einfuehrung-des-neuen-leiters-der-jugendkirche-am-1-12/ 1 0 1 1 0 0 21.811877727508545
+https://www.emk-karlsruhe.de/offene-kirche-engel/ 0 0 1 0 0 0.0 14.054759502410889
+https://www.emk-karlsruhe.de/adventsmarkt-in-der-kapelle-am-30-11/ 0 1 1 1 1 1.0 16.296363353729248
+https://theater-koblenz.de/programm/ganzohr-literaturfestival/ 1 0 1 0 0 0 22.599891901016235
+https://www.visit-lahnstein.de/theater/programm/ 0 0 1 0 0 1.0 73.70467042922974
+https://www.museum-am-schoelerberg.de/buchungsangebote/captain-schnuppes-weltraumreise-2/20278 1 1 1.0 1 0 1 57.995845794677734
+https://www.museum-am-schoelerberg.de/buchungsangebote/das-astronomiejahr-2025/20416 1 0 1.0 0 1 1 35.048099994659424
+https://www.museum-am-schoelerberg.de/buchungsangebote/die-olchis-das-grosse-weltraumabenteuer/20743 1 0 1.0 1 0 0 49.85187029838562
+https://www.museum-am-schoelerberg.de/buchungsangebote/wer-rettet-den-weihnachtsmann/ 1 0 1.0 0 1 1 35.63845634460449
+https://www.museum-am-schoelerberg.de/buchungsangebote/queen-heaven/ 1 0 1.0 1 0 0 36.98330879211426
+https://ev-stjohann.de/events/eschberg-lebendiger-adventskalender-am-3-und-4-advent/ 1 0 1 0 0.0 0 17.110201120376587
+https://ev-stjohann.de/events/oek-weihnachsvesper/ 1 1 1 1 1.0 0 12.05985713005066
+https://ev-stjohann.de/events/kindergottesdienst-70/ 1 1 1 1 0 1.0 11.393477201461792
+https://ev-stjohann.de/events/kindergottesdienst-69/ 1 1 1 1 0 1.0 10.89378833770752
+https://ev-stjohann.de/events/johanneskirche-das-licht-scheint-in-der-finsternis-gottesdienst-mit-dance-performance/ 1 1 1 1 0 1.0 38.91781949996948
+https://ahmadiyya.de/events/islamausstellung-in-hemer-2/ 1 0 1 0 0.0 1.0 107.58875632286072
+https://halo.club/event/why-so-serious-13-12/ 1 0 1.0 0 0 0.0 182.2700481414795
+https://halo.club/event/pretty-nice-vibe-21-12/ 1 0 0.0 0 0 1.0 59.138978242874146
+https://halo.club/event/blackout-thursdays-19-12/ 1 0 1.0 1 0 0 136.42740631103516
+https://halo.club/event/why-so-serious-27-12/ 1 0 1.0 0 0 0.0 181.50714254379272
+https://halo.club/event/pretty-nice-vibe-28-12/ 1 0 1.0 0 0 1.0 158.82524609565735
+https://halo.club/event/blackout-thursdays-26-12/ 1 0 1.0 1 0 0 130.22622179985046
+https://halo.club/event/blackout-thursdays-12-12/ 1 0 1.0 1 0 0.0 85.08140540122986
+https://halo.club/event/why-so-serious-20-12/ 0 0 1.0 0 0 0.0 99.1928482055664
+http://www.ga-ga.de/events/18.01.2025-eatdancelove1801-10281 0 0 1.0 1 1 0 123.07266283035278
+http://www.blankenesekiezinternat.de/event/%e0%a5%90-bki-bescherungs-stampf-%e0%a5%90/ 1 0 1 1 0 0 27.504791021347046
+http://www.blankenesekiezinternat.de/event/%e0%a5%90-trip-to-galactica-%e0%a5%90-24/ 1 1 1 1 0 0 26.146658658981323
+http://www.blankenesekiezinternat.de/event/%e0%a5%90-roads-of-proggy-%e0%a5%90-25/ 1 1 1 0 0 0 25.835285186767578
+http://www.blankenesekiezinternat.de/event/%e0%a5%90-bkistampf-thursday-%e0%a5%90-17/ 1 1 1 0 0 0 32.729358196258545
+http://www.blankenesekiezinternat.de/event/%e0%a5%90-silvester-stampf-%e0%a5%90-2/ 1 0 1 0 0 0 25.82702112197876
+https://www.my-private.club/h1club-hamburg/events/wild-wednesday-_2024-12-18_10242 1 1 0 0 1 1.0 18.63705825805664
+https://www.my-private.club/h1club-hamburg/events/sweet-dreams_2024-12-21_10237 1 1 1 0 0 0.0 15.092102527618408
+https://www.my-private.club/h1club-hamburg/events/bad-santa_2024-12-25_10243 1 1 0 0 0 0.0 17.851985216140747
+https://www.nomadenland.de/veranstaltung/ziegenwanderung/ 0 0 0 0 0.0 0 59.95140218734741
+http://www.wuhlheide.de/programm/berliner-rundfunk-open-air-2025/2025-07-05 1 0 1.0 1 0 1 15.058967590332031
+http://www.wuhlheide.de/programm/cro/2025-08-09 0 0 1.0 1 0.0 1 13.188536882400513
+http://www.wuhlheide.de/programm/k-i-z/2025-08-23 1 0 1 1 0.0 1.0 12.820086240768433
+http://www.wuhlheide.de/programm/tokio-hotel/2025-08-15 1 0 1.0 1 0.0 0 14.821857690811157
+http://www.wuhlheide.de/programm/25-jahre-sido/2025-07-12 1 0 1.0 1 0.0 1 15.217310428619385
+https://gestoert-aber-geil.online-ticket.de/gestoert-aber-geil-das-festival-tickets-2025 0 1 1 1 1.0 1.0 23.675548553466797
+http://www.wuhlheide.de/programm/feine-sahne-fischfilet/2025-07-19 1 0 1 1 0.0 1 15.708831548690796
+https://www.koeln.de/event/hafen-weihnachtsmarkt/2024-12-13/ 1 1 1 0 0 0 21.582816123962402
+https://www.koeln.de/event/flohmarkt-an-der-galopprennbahn-2/2024-12-13/ 1 0 1 1 1 0 23.040252685546875
+https://www.augsburg.de/detail-kalender-2/fur-selbsthilfeaktive/event-5436-5436-20250115 1 0 1 0 0 1 23.105677843093872
+https://www.augsburg.de/aktuelles-aus-der-stadt/detail/eine-ganze-nacht-lang-demokratie-und-was-uns-zusammenhaelt 1 0 1 0 0 0 89.41105699539185
+https://www.mainz.de/freizeit-und-sport/feste-und-veranstaltungen/oktoberfest.php 1 1 1 0 0 0 28.638829469680786
+https://www.mainz.de/leben-und-arbeit/migration-und-integration/interkulturelle-woche.php 1 0 1 0 0 1 56.86952352523804
+https://www.mainz.de/freizeit-und-sport/feste-und-veranstaltungen/oktoberfest.php 1 1 1 0 0 0 27.58851170539856
+https://www.mainz.de/microsite/wissenimherzen/wissenschafts-events/wissenschaftsmarkt.php 1 0 1 1 0 0 20.361992597579956
+https://www.erfurt.de/ef/de/erleben/veranstaltungen/vst/2025/145265.html 1 0 1 0 1.0 1.0 21.989774465560913
+https://www.erfurt.de/ef/de/erleben/veranstaltungen/vst/2019/jl_142683.html 1 0 1 0 0.0 1.0 56.0450382232666
+https://www.erfurt.de/ef/de/erleben/veranstaltungen/vst/2022/143177.html 1 0 0 1 1.0 0.0 94.01974368095398
+https://www.erfurt.de/ef/de/erleben/veranstaltungen/ast/2024/km_149460.html 1 0 1 1 1.0 0.0 89.23220944404602
+https://www.erfurt.de/ef/de/erleben/veranstaltungen/vst/2024/ts_149122.html 0 1 0 0 0.5 0 54.83802843093872
+https://www.erfurt.de/ef/de/erleben/veranstaltungen/maerkte/117680.html 1 1 1 0 1.0 1.0 21.97410273551941
+https://www.erfurt.de/ef/de/erleben/veranstaltungen/vst/2024/km_149250.html 1 1 1 0 1.0 0.0 36.96526265144348
+https://www.erfurt.de/ef/de/erleben/veranstaltungen/vst/2025/km_149497.html 1 0 1 0 1.0 0.0 40.81477332115173
+https://lust-auf-leverkusen.de/veranstaltung/hoehner-2/ 1 1 0.5 0 0.0 0 74.72248268127441
+https://lust-auf-leverkusen.de/veranstaltung/christmas-in-vienna-2024-live-aus-wien-auf-der-kinoleinwand/ 0 1 1 0 1.0 1.0 69.38979887962341
+https://www.wuerzburg.de/events-termine/kilianivolksfest 0 0 1 0 1 0 12.064836263656616
+https://www.wuerzburg.de/themen/kultur-bildung-kulturangebot/stadtbuecherei/veranstaltungen/buecherflohmarkt 1 0 1 1 0 1.0 27.614226579666138
+https://www.wuerzburg.de/themen/kultur-bildung-kulturangebot/stadtbuecherei/veranstaltungen/schreibwerkstatt 1 0 1 1 0 0.0 100.45706009864807
+http://www.liederhalle-stuttgart.de/events/dudes-live-tour-2025/ 0 0 1 1 1.0 1.0 23.20697021484375
+http://www.liederhalle-stuttgart.de/events/blumengarten-ich-liebe-dich-fuer-immer-tour-2025/ 0 0 1 1 1.0 1.0 28.90886640548706
+https://www.easyticket.de/veranstaltung/manfred-mann-s-earth-band/99316/ 1 1 1.0 0 0 0 55.74727940559387
+https://www.easyticket.de/event-date-redirect/99089 1 1 1.0 1 0 0.0 41.58063340187073

src/nlp/playground/pipelines/title_extractor.py

@@ -54,12 +54,13 @@ class TitleExtractor:
             print("lowest Level", lowest_level)
             return lowest_level["text"]
 
+
     def extract_title_classy_classification(self,event_text):
         analyzer = MarkdownAnalyzer(event_text)
         identified_headers = analyzer.identify_headers()
 
         classifier = joblib.load(
-            hf_hub_download(repo_id="adojo/title_classifier", filename="title_classifier" + ".pkl")
+            hf_hub_download(repo_id="adojode/title_classifier", filename="title_classifier" + ".pkl")
         )
 
         headers = identified_headers["Header"] if identified_headers else analyzer.identify_emphasis()

src/utils/Event.py

@@ -45,29 +45,20 @@ class Schedule:
     def __len__(self):
         return len([element for element in [self.start_date, self.end_date, self.start_time, self.end_time, self.admittance_time] if element])
 
-    def __contains__(self,item):
-        if not isinstance(item, Schedule):  # Falls other kein Schedule-Objekt ist, direkt False
-            return False
-        print("SELF: ", self)
-        print("ITEM: ", item)
-        return (
-                (self.start_date == item.start_date or self.start_date == item.end_date or item.start_date is None) and
-                (self.end_date == item.end_date or self.end_date == item.start_date or item.end_date is None) and
-                (self.start_time == item.start_time or self.start_time == self.end_time or item.start_time is None) and
-                (self.end_time == item.end_time or self.end_time == self.start_time or item.end_time is None) and
-                (self.admittance_time == item.admittance_time or item.admittance_time is None)
-        )
-
-
-# class Address:
-#     def __init__(self, street, house_number, postal_code, city):
-#         self.street = street
-#         self.house_number = house_number
-#         self.postal_code = postal_code
-#         self.city = city
-#
-#     def __str__(self):
-#         return f"🏠 {self.street if self.street else ''} {self.house_number if self.house_number else ''}, {self.postal_code if self.postal_code else ''} {self.city if self.city else ''}"
+    def __contains__(self, item):
+        if not isinstance(item, Schedule):
+            return False  # Falls item kein Schedule-Objekt ist, direkt False
+
+        print(f"SELF: {self}")
+        print(f"ITEM: {item}")
+
+        return all([
+            item.start_date in {self.start_date, self.end_date, None},
+            item.end_date in {self.end_date, self.start_date, None},
+            item.start_time in {self.start_time, self.end_time, None},
+            item.end_time in {self.end_time, self.start_time, None},
+            item.admittance_time in {self.admittance_time, None}
+        ])
 
 
 class Event: