Update app.py

app.py

@@ -1,9 +1,125 @@
 import streamlit as st
+import requests
+from bs4 import BeautifulSoup
+from urllib.parse import urljoin
+import json
+import csv
+import pandas as pd
+import os
+
+#api_key = os.getenv('groq')
+
+def parse_links_and_content(ort):
+    base_url = "https://vereine-in-deutschland.net"
+    all_links = []   
+    # Konstruiere die vollständige URL
+    initial_url = f"{base_url}/vereine/Bayern/{ort}/"
+    
+    try:
+        # Senden der Anfrage an die initiale URL
+        response = requests.get(initial_url)
+        response.raise_for_status()  # Überprüfen, ob die Anfrage erfolgreich war
+        
+        # Parse the HTML content using BeautifulSoup
+        soup = BeautifulSoup(response.content, 'html.parser')
+        
+        # Ermittle die letzte Seite
+        link_element = soup.select_one('li.page-item:nth-child(8) > a:nth-child(1)')
+        
+        if link_element and 'href' in link_element.attrs:
+            href = link_element['href']
+            # Extrahiere die letzten beiden Zeichen der URL
+            last_two_chars = href[-2:]
+            
+            # Konvertiere die letzten beiden Zeichen in einen Integer
+            last_two_chars_int = int(last_two_chars)
+        else:
+            last_two_chars_int = 1  # Falls die letzte Seite nicht gefunden wird, nimm an, dass es nur eine Seite gibt
+
+        # Schleife durch alle Seiten und sammle Links
+        for page_number in range(1, last_two_chars_int + 1):
+            page_url = f"{base_url}/vereine/Bayern/{ort}/p/{page_number}"
+            response = requests.get(page_url)
+            response.raise_for_status()            
+            soup = BeautifulSoup(response.content, 'html.parser')
+            target_div = soup.select_one('div.row-cols-1:nth-child(4)')
+            
+            if target_div:
+                texts = [a.text for a in target_div.find_all('a', href=True)] 
+                all_links.extend(texts)
+            else:
+                st.write(f"Target div not found on page {page_number}")
+        
+    except Exception as e:
+        return str(e), []
+        
+    all_links = all_links[0::2]
+    return all_links
+
+def scrape_links(links):
+    contact_details = []
+    client = Client("mgokg/PerplexicaApi")
+    for verein in links:   
+        result = client.predict(
+            prompt=f"{verein}",
+            api_name="/parse_links"
+        )
+        contact_details.append(result)
+        
+    return contact_details
+
+# Speichere die JSON-Daten in eine CSV-Datei 
+def save_to_csv(data, filename): 
+    keys = data[0].keys() 
+    with open(filename, 'w', newline='', encoding='utf-8') as output_file: 
+        dict_writer = csv.DictWriter(output_file, fieldnames=keys) 
+        dict_writer.writeheader() 
+        dict_writer.writerows(data)
+
+# Streamlit App
+st.title("Vereinsinformationen abrufen")
+
+ort_input = st.text_input("Ort", placeholder="Gib den Namen des Ortes ein")
+
+if st.button("Senden"):
+    links = parse_links_and_content(ort_input)
+    contact_details = scrape_links(links)
+    json_data = [json.loads(item) for item in contact_details]
+    
+    # Zeige die Ergebnisse an
+    st.json(json_data)
+    
+    # Speichere die Daten in einer CSV-Datei
+    save_to_csv(json_data, 'contact_details.csv')
+    
+    # Bereitstellung des Download-Links
+    with open('contact_details.csv', 'rb') as file:
+        st.download_button(
+            label="CSV-Datei herunterladen",
+            data=file,
+            file_name='contact_details.csv',
+            mime='text/csv'
+        )
+
+
+
+
+
+
+
+
+
+
+
+
+'''
+import streamlit as st
 #import sounddevice as sd
 import numpy as np
 import wavio
 import speech_recognition as sr
 
+
 st.title("Audio Recorder und Transkription")
 
 # Aufnahmeparameter
@@ -40,7 +156,6 @@ st.write("Klicke auf 'Aufnahme starten', um die Aufnahme zu beginnen.")
 
 
 
-'''
 
 import streamlit as st
 import pydub