import requests from bs4 import BeautifulSoup import json import re import pandas as pd from io import BytesIO from collections import namedtuple import numpy as np import streamlit as st import os from groq import Groq def clean_text(text): return re.sub(r'\s+', ' ', text).strip() def formatta_numero(stringa): stringa = stringa.split(',')[0] stringa = stringa.replace(".", "").replace("da", "").replace("€", "").replace("%","").replace("m²", "").replace("locali", "").strip() stringa = stringa.split(' ')[0] return stringa # Estrae le informazioni dagli ANNUNCI def extract_info(provincia, comune, prezzo_medio_mq, listing): info = {} superficie = "" locali = "" info['Provincia'] = provincia info['Comune'] = comune price_elem = listing.find('div', class_='in-listingCardPrice') prezzo = clean_text(price_elem.text) if price_elem else "" link_elem = listing.find('a', class_='in-listingCardTitle') if link_elem: link = link_elem['href'] titolo = link_elem.text.strip() feature_list = listing.find('div', class_='in-listingCardFeatureList') if feature_list: for item in feature_list.find_all('div', class_='in-listingCardFeatureList__item'): use_elem = item.find('use', class_='nd-icon__use') if use_elem: if use_elem.get('xlink:href') == '#planimetry': locali = item.find('span').text.strip() elif use_elem.get('xlink:href') == '#size': superficie = item.find('span').text.strip() image_url = "" img = listing.find('figure', class_='nd-figure nd-ratio in-photo') if img: image_url = img.find('img')['src'] superficie = formatta_numero(superficie) locali = formatta_numero(locali) prezzo = formatta_numero(prezzo) info['Immagine'] = image_url info['Titolo'] = titolo info['Prezzo'] = int(prezzo) info['Superficie'] = int(superficie) try: prezzo_numerico = int(prezzo) superficie_numerica = int(superficie) info['PrezzoMq'] = prezzo_numerico // superficie_numerica prezzo_medio_mq = formatta_numero(prezzo_medio_mq) prezzo_medio_mq_numerico = int(prezzo_medio_mq) differenza = prezzo_medio_mq_numerico - info['PrezzoMq'] vantaggio = (differenza / prezzo_medio_mq_numerico) * 100 vantaggio = max(0, vantaggio) vantaggio = int(vantaggio) except (ValueError, ZeroDivisionError): info['PrezzoMq'] = 0 vantaggio = 0 info['Locali'] = int(locali) info['Link'] = link info['PrezzoMedioMq'] = int(prezzo_medio_mq) info['Vantaggio'] = vantaggio if info['PrezzoMq']< int(prezzo_medio_mq) and info['PrezzoMq']>0: info['Vantaggioso'] = True else: info['Vantaggioso'] = False return info # Legge gli ANNUNCI (pagina x pagina) sulla base del COMUNE di appartenenza def scrape_immobiliare(provincia, comune, prezzo_medio_mq, prezzo_minimo, prezzo_massimo, locali_minimo, locali_massimo): print(provincia + " " + comune + " " + prezzo_medio_mq) comune_url = comune.replace(" ", "-") if st.tipologia_case == "Asta Immobiliare": tipologia_url = "aste-immobiliari" else: tipologia_url = "vendita-case" base_url = f"https://www.immobiliare.it/{tipologia_url}/{comune_url}/?prezzoMinimo={prezzo_minimo}&prezzoMassimo={prezzo_massimo}&localiMinimo={locali_minimo}&localiMassimo={locali_massimo}&random=123456" results = [] page = 1 url = base_url while True: print(f'Elaborazione pagina {page}') response = requests.get(url) soup = BeautifulSoup(response.content, 'html.parser') listings = soup.find_all('li', class_='nd-list__item in-searchLayoutListItem') if not listings: break for listing in listings: results.append(extract_info(provincia, comune, prezzo_medio_mq, listing)) pagination = soup.find('div', class_='in-pagination__list') if pagination: next_page = pagination.find('a', class_='in-pagination__item', string=lambda text: text and text.strip().isdigit()) if not next_page: break page += 1 url = base_url + '&pag=' + str(page) return json.dumps(results, ensure_ascii=False, indent=2) # Restituisce l'elenco dei COMUNI di una Provincia e il PREZZO MEDIO def get_elenco_comuni(provincia): print(2) base_url = f"https://www.immobiliare.it/mercato-immobiliare/lombardia/{provincia}-provincia/" results = [] print(f'Lettura Comuni e Prezzo Medio al Mq') response = requests.get(base_url) soup = BeautifulSoup(response.content, 'html.parser') rows = soup.find_all('tr', class_='nd-table__row') results = [] for row in rows: cells = row.find_all('td', class_='nd-table__cell') if len(cells) >= 2: comune = cells[0].get_text(strip=True) prezzo_vendita = cells[1].get_text(strip=True) results.append({ 'provincia': provincia, 'comune': comune, 'prezzo': prezzo_vendita }) return results cerca_premuto = False comuni_provincia = {} print('1') def scrivi_dataframe(output, riepilogo, comune): if len(output) > 0: st.numero_immobili_validi = st.numero_immobili_validi + 1 if not riepilogo: st.write(f"### {comune}") df = pd.DataFrame(output) df_originale = df.sort_values(by=["Vantaggio", "PrezzoMq"], ascending=[False, True]) if not riepilogo: columns_to_display = ["Vantaggioso", "Vantaggio", "Immagine", "Titolo", "PrezzoMq", "Prezzo", "Superficie", "Locali", "PrezzoMedioMq", "Link"] else: columns_to_display = ["Vantaggioso", "Vantaggio", "Immagine", "Comune", "Titolo", "PrezzoMq", "Prezzo", "Superficie", "Locali", "PrezzoMedioMq", "Link"] df = df_originale[columns_to_display] df = df.style.format(thousands='.') vantaggioso_count = df_originale["Vantaggioso"].sum() total_rows = df_originale.shape[0] if st.mostra_grafici: col1, col2, col3 = st.columns(3) with col1: vantaggioso_count = df_originale["Vantaggioso"].sum() total_rows = df_originale.shape[0] st.metric("Numero Immobili", int(total_rows), int(vantaggioso_count)) st.write('Prezzo Totale') chart_data = df_originale["Prezzo"] st.line_chart(chart_data, color = "#FF4B4B", height=110) with col2: vantaggioso_count = df_originale["Vantaggioso"].sum() total_rows = df_originale.shape[0] st.metric("% Immobili Vantaggiosi", int((vantaggioso_count/total_rows)* 100), 100-int((vantaggioso_count/total_rows)* 100)) st.write('Locali') immobili_per_locali = df_originale.sort_values(by=["Locali"], ascending=[True]).groupby("Locali").size() st.bar_chart(immobili_per_locali, color = "#ffb7b7", height=110) with col3: superficie_count = df_originale["Superficie"].sum() total_rows = df_originale.shape[0] st.metric("Media Superficie", int(superficie_count//total_rows), int(superficie_count)) st.write('Prezzo Medio al Metro Quadro') chart_data = df_originale["PrezzoMq"] st.area_chart(chart_data, color = "#FF4B4B", height=110) st.dataframe(df, hide_index=True, use_container_width=True, column_config ={ "Vantaggioso": st.column_config.CheckboxColumn("Vantaggioso"), "Vantaggio": st.column_config.ProgressColumn( "Punteggio", help="Vantaggio in %", format='%f', min_value=0, max_value=100, ), "Immagine": st.column_config.ImageColumn("Anteprima", help="Anteprima", width="small"), "PrezzoMq": "€/Mq", "PrezzoMedioMq": "Media €/Mq", "Prezzo": st.column_config.NumberColumn( "Prezzo Totale", help="Il prezzo totale dell'immobile in EURO", step=1, format="%d €", ), "Superficie": "Superficie", "Locali": "Locali", "Link": st.column_config.LinkColumn("App URL") }) st.write(f"Riepilogando nel comune {comune} sono presenti **{vantaggioso_count} Immobili vantaggiosi** rispetto ai {total_rows} totali") st.divider() def analizza_dati_ai(output, tipologia): Ak = os.getenv('API_GROQ') #Ak = st.secret('API_GRPQ') client = Groq(api_key=Ak) if tipologia == 1: prompt_messages = [ { "role": "system", "content": """Sei un'assistente virtuale specializzata nel supporto agli investitori immobiliari. Il tuo compito è analizzare i dati di un file CSV contenente un elenco di immobili e fornire consigli, idee e analisi dettagliate per massimizzare il profitto attraverso la riqualificazione e rivendita degli stessi. Devi considerare vari fattori come la posizione degli immobili, il prezzo di acquisto, il potenziale valore di mercato post-riqualificazione, i costi stimati per la ristrutturazione e altri dati pertinenti. Il tuo obiettivo è offrire suggerimenti strategici basati sui dati, evidenziare le migliori opportunità di investimento, identificare eventuali rischi, e fornire consigli pratici per ottimizzare i profitti. Rispondi in modo chiaro, conciso e professionale.""" }, { "role": "user", "content": f"""Ho un file CSV con un elenco di immobili che sto considerando per un investimento. Vorrei che tu analizzassi i dati e mi fornissi consigli dettagliati su come posso massimizzare il mio profitto attraverso la riqualificazione e la rivendita di questi immobili. Per ogni immobile, per favore prendi in considerazione i seguenti aspetti:\n\n 1. Valore attuale: Quanto vale l'immobile al momento dell'acquisto?\n 2. Costi di riqualificazione stimati: Quanto potrebbe costare la ristrutturazione o la riqualificazione?\n 3. Valore di mercato potenziale: Quanto potrebbe valere l'immobile una volta riqualificato?\n 4. Rendimento potenziale: Qual è il margine di profitto previsto, tenendo conto dei costi totali?\n 5. Tempistica di rivendita: In quanto tempo è probabile che l'immobile venga venduto una volta riqualificato?\n 6. Analisi del mercato locale: Qual è la situazione del mercato immobiliare nella zona specifica? Ci sono trend emergenti?\n 7. Rischi potenziali: Quali sono i possibili rischi o svantaggi legati a ciascun immobile?\n Infine, suggeriscimi le migliori opportunità di investimento tra gli immobili elencati, con una breve spiegazione del motivo per cui questi immobili sono i più promettenti. DATI UN PUNTEGGIO DA 0 A 100 e mostra i primi 5 in ordine di punteggio DECRESCENTE! \n\n{output}""" } ] elif tipologia==2: prompt_messages = [ { "role": "system", "content": """Sei un'assistente virtuale specializzata nel supporto agli investitori immobiliari""" }, { "role": "user", "content": f"""Ho un file CSV con un elenco di immobili che sto considerando per un investimento. Analizza i dati fornendo un punteggio da 1 a 100 degli immobili specificando PRO e CONTRO per ognuno. Mettili in ORDINE di punteggio DECRESCENTE. Restituisci un CSV formattato\n\n{output}""" } ] print(prompt_messages) response_area = st.empty() with st.spinner("Generazione in corso..."): completion = client.chat.completions.create( model="llama-3.1-70b-versatile", messages=prompt_messages, temperature=1, max_tokens=2048, top_p=1, stream=True, stop=None, ) response_text = "" for chunk in completion: response_text += chunk.choices[0].delta.content or "" response_area.markdown(response_text + "▌") response_area.markdown(response_text) def inizializza(): if 'logged_in' not in st.session_state: st.session_state['logged_in'] = False if "numero_immobili_validi" not in st.session_state: st.numero_immobili_validi = 0 if 'tipologia_case' not in st.session_state: st.session_state['tipologia_case'] = '' if 'mostra_grafici' not in st.session_state: st.session_state['mostra_grafici'] = False if 'analisi_ai' not in st.session_state: st.session_state['analisi_ai'] = False if 'modello_ai' not in st.session_state: st.session_state['modello_ai'] = '' if 'initialized' not in st.session_state: st.session_state['initialized'] = False def login_page(): login_container = st.empty() with login_container: log1, log2, log3 = st.columns([1.5, 3, 1.5]) with log2: st.title('🏠 Immobiliare A.I. ') st.write("") #USERNAME = st.secrets["login"]["username"] #PASSWORD = st.secrets["login"]["password"] USERNAME = 'altero' PASSWORD = os.getenv('PASSWORD_LOGIN') with st.form(key='login_form'): username_input = st.text_input('Username') password_input = st.text_input('Password', type='password') login_button = st.form_submit_button('Login') if login_button: if username_input == USERNAME and password_input == PASSWORD: st.session_state['logged_in'] = True login_container.empty() else: st.error("Username o password errati") st.set_page_config(layout='wide') st.title('🏠 Immobiliare A.I. ') st.write("##### Il tuo assistente di intelligenza artificiale per la ricerca di occasioni immobiliari") with st.expander("Informazioni"): st.write("Immobiliare A.I. è la webapp che semplifica la ricerca di immobili, grazie a algoritmi avanzati che calcolano il vantaggio di ogni offerta. Trova le migliori occasioni sul mercato con analisi precise e personalizzate. Scopri l’immobile giusto per te con facilità e sicurezza!") if 'initialized' not in st.session_state: inizializza() st.session_state['initialized'] = True with st.sidebar: if st.session_state['initialized'] = False comuni_provincia_Brescia = get_elenco_comuni('Brescia') comuni_provincia_Bergamo = get_elenco_comuni('Bergamo') st.session_state['initialized'] = True comuni_provincia = comuni_provincia_Brescia + comuni_provincia_Bergamo st.title("Filtri") st.tipologia_case = st.selectbox("Tipologia", ("Acquisto Immobile", "Asta Immobiliare")) elenco = [d['comune'] for d in comuni_provincia] comune_input = st.multiselect( "Comuni", elenco ) prezzo_minimo = st.sidebar.slider("Prezzo Minimo (k)", min_value=0, max_value=1000, value=200) prezzo_massimo = st.sidebar.slider("Prezzo Massimo (k)", min_value=0, max_value=1000, value=230) locali = list(range(1, 21)) # Intervallo da 1 a 10 locali_range = st.sidebar.select_slider( "Locali", options=locali, value=(locali[2], locali[4]) # Valore iniziale, da 1 a 5 locali ) st.mostra_grafici = st.toggle("Mostra grafici", value = True) st.modello_ai = st.selectbox("Modello A.I.", ("Llama 3.1", "Mixtral 7x8b")) st.analisi_ai = st.toggle("Analizza i dati tramite l'A.I.", value = True) locali_minimo, locali_massimo = locali_range prezzo_minimo = prezzo_minimo*1000 prezzo_massimo = prezzo_massimo*1000 cerca_premuto = st.button("Cerca", use_container_width=True, type='primary') if cerca_premuto: if len(comune_input)>0: comuni_selezionati = comune_input comuni_selezionati = [comune.upper() for comune in comuni_selezionati] output = [] output_singolo = [] for comune_provincia in comuni_provincia: if comune_provincia['comune'].upper() in comuni_selezionati: with st.spinner(f"Ricerca Immobili Comune: {comune_provincia['comune']}"): output_singolo = json.loads(scrape_immobiliare(comune_provincia['provincia'], comune_provincia['comune'], comune_provincia['prezzo'], prezzo_minimo, prezzo_massimo, locali_minimo, locali_massimo)) scrivi_dataframe(output_singolo, False, comune_provincia['comune']) output += output_singolo if len(comuni_selezionati)>1 and st.numero_immobili_validi>1: st.write(f"### Comuni Selezionati") scrivi_dataframe(output, True, '') if st.numero_immobili_validi > 0 and st.analisi_ai: st.title("✨ Analisi Intelligenza Artificiale") st.write("### Considerazioni") analizza_dati_ai(output, 1) #st.divider() #st.write("### Dettagliata") #analizza_dati_ai(output, 2) st.success("Elaborazione Completata") else: st.error("Per favore, inserisci il nome di un comune.") #if 'initialized' not in st.session_state: # st.session_state['initialized'] = True # inizializza() # st.set_page_config(layout='wide') #if not st.session_state['logged_in']: # login_page() #if st.session_state['logged_in']: # main()