import requests from bs4 import BeautifulSoup import json import re import pandas as pd from io import BytesIO from collections import namedtuple import numpy as np import streamlit as st import os from groq import Groq import time from openpyxl import load_workbook def clean_text(text): return re.sub(r'\s+', ' ', text).strip() def formatta_numero(stringa): stringa = stringa.split(',')[0] stringa = stringa.replace(".", "").replace("da", "").replace("€", "").replace("%","").replace("m²", "").replace("locali", "").replace("+", "").strip() stringa = stringa.split(' ')[0] if not stringa: stringa = 0 return stringa # Estrae le informazioni dagli ANNUNCI def extract_info(provincia, comune, prezzo_medio_mq, listing): info = {} superficie = "" locali = "" info['Provincia'] = provincia info['Comune'] = comune price_elem = listing.find('div', class_='in-listingCardPrice') prezzo = clean_text(price_elem.text) if price_elem else "" link_elem = listing.find('a', class_='in-listingCardTitle') if link_elem: link = link_elem['href'] titolo = link_elem.text.strip() feature_list = listing.find('div', class_='in-listingCardFeatureList') if feature_list: for item in feature_list.find_all('div', class_='in-listingCardFeatureList__item'): use_elem = item.find('use', class_='nd-icon__use') if use_elem: if use_elem.get('xlink:href') == '#planimetry': locali = item.find('span').text.strip() elif use_elem.get('xlink:href') == '#size': superficie = item.find('span').text.strip() image_url = "" img = listing.find('figure', class_='nd-figure nd-ratio in-photo') if img: image_url = img.find('img')['src'] superficie = formatta_numero(superficie) locali = formatta_numero(locali) prezzo = formatta_numero(prezzo) prezzo_medio_mq = formatta_numero(prezzo_medio_mq) info['Immagine'] = image_url info['Titolo'] = titolo info['Prezzo'] = int(prezzo) info['Superficie'] = int(superficie) try: prezzo_numerico = int(prezzo) superficie_numerica = int(superficie) info['PrezzoMq'] = prezzo_numerico // superficie_numerica prezzo_medio_mq = formatta_numero(prezzo_medio_mq) prezzo_medio_mq_numerico = int(prezzo_medio_mq) differenza = prezzo_medio_mq_numerico - info['PrezzoMq'] vantaggio = (differenza / prezzo_medio_mq_numerico) * 100 vantaggio = max(0, vantaggio) vantaggio = int(vantaggio) except (ValueError, ZeroDivisionError): info['PrezzoMq'] = 0 vantaggio = 0 info['Locali'] = int(locali) info['Link'] = link info['PrezzoMedioMq'] = int(prezzo_medio_mq) info['Vantaggio'] = vantaggio if info['PrezzoMq']< int(prezzo_medio_mq) and info['PrezzoMq']>0: info['Vantaggioso'] = True else: info['Vantaggioso'] = False return info def normalize_title(title): return title.lower().replace(',', '').replace('.', '').replace(' ', ' ').replace(' n ', ' ').replace('V. ', 'via ').strip() # Legge gli ANNUNCI (pagina x pagina) sulla base del COMUNE di appartenenza def scrape_immobiliare(provincia, comune, prezzo_medio_mq, prezzo_minimo, prezzo_massimo, locali_minimo, locali_massimo): print(provincia + " " + comune + " " + prezzo_medio_mq) comune_url = comune.replace(" ", "-").replace("è", "e").replace("é", "e").replace("ò", "o").replace("à", "a").replace("ù", "u").replace("ì", "i").replace("'", "-") if st.tipologia_case == "Asta Immobiliare": tipologia_url = "aste-immobiliari" else: tipologia_url = "vendita-case" base_url = f"https://www.immobiliare.it/{tipologia_url}/{comune_url}/?prezzoMinimo={prezzo_minimo}&prezzoMassimo={prezzo_massimo}&localiMinimo={locali_minimo}&localiMassimo={locali_massimo}&random=123456" results = [] page = 1 url = base_url while True: print(f'Elaborazione pagina {page}') try: response = requests.get(url, allow_redirects=True, timeout=10) soup = BeautifulSoup(response.content, 'html.parser') listings = soup.find_all('li', class_='nd-list__item in-searchLayoutListItem') if not listings: break for listing in listings: results.append(extract_info(provincia, comune, prezzo_medio_mq, listing)) pagination = soup.find('div', class_='in-pagination__list') if pagination: next_page = pagination.find('a', class_='in-pagination__item', string=lambda text: text and text.strip().isdigit()) if not next_page: break page += 1 url = base_url + '&pag=' + str(page) except requests.exceptions.TooManyRedirects as e: print(f"Errore: {e}") break if st.tipologia_case == "Acquisto Immobile": results = [obj for obj in results if 'asta' not in obj['Titolo'].lower()] seen_titles = set() results = [ obj for obj in results if normalize_title(obj['Titolo']) not in seen_titles and not seen_titles.add(normalize_title(obj['Titolo'])) ] return base_url, json.dumps(results, ensure_ascii=False, indent=2) # Restituisce l'elenco dei COMUNI di una Provincia e il PREZZO MEDIO def get_elenco_comuni(provincia): base_url = f"https://www.immobiliare.it/mercato-immobiliare/lombardia/{provincia}-provincia/" results = [] print(f'Lettura Comuni e Prezzo Medio al Mq') response = requests.get(base_url) soup = BeautifulSoup(response.content, 'html.parser') rows = soup.find_all('tr', class_='nd-table__row') results = [] for row in rows: cells = row.find_all('td', class_='nd-table__cell') if len(cells) >= 2: comune = cells[0].get_text(strip=True) prezzo_vendita = cells[1].get_text(strip=True) results.append({ 'provincia': provincia, 'comune': comune, 'prezzo': prezzo_vendita }) results.append({ 'provincia': provincia, 'comune': "Provincia di " + provincia, 'prezzo': '0' }) return results cerca_premuto = False comuni_provincia = {} def scrivi_dataframe(url_ricerca, output, riepilogo, comune, da_excel = False, df_excel = None): if len(output) > 0 or (da_excel and df_excel is not None): #for comune_excel, df_comune in dataframes_per_comune.items(): # if comune_excel == comune: # print('a') # Da fare MATTEO st.write(df_comune) st.numero_immobili_validi = st.numero_immobili_validi + 1 if not riepilogo or da_excel: st.write(f"### {comune}") if da_excel: df = df_excel else: df = pd.DataFrame(output) df_originale = df.sort_values(by=["Vantaggio", "PrezzoMq"], ascending=[False, True]) if not riepilogo: columns_to_display = ["Vantaggioso", "Vantaggio", "Immagine", "Titolo", "PrezzoMq", "Prezzo", "Superficie", "Locali", "PrezzoMedioMq", "Link"] else: columns_to_display = ["Vantaggioso", "Vantaggio", "Immagine", "Comune", "Titolo", "PrezzoMq", "Prezzo", "Superficie", "Locali", "PrezzoMedioMq", "Link"] df = df_originale[columns_to_display] df = df.style.format(thousands='.') vantaggioso_count = df_originale["Vantaggioso"].sum() total_rows = df_originale.shape[0] if st.mostra_grafici: col1, col2, col3 = st.columns(3) with col1: vantaggioso_count = df_originale["Vantaggioso"].sum() total_rows = df_originale.shape[0] st.metric("Numero Immobili", int(total_rows), int(vantaggioso_count)) st.write('Prezzo Totale') chart_data = df_originale["Prezzo"] st.line_chart(chart_data, color = "#FF4B4B", height=110) with col2: vantaggioso_count = df_originale["Vantaggioso"].sum() total_rows = df_originale.shape[0] st.metric("% Immobili Vantaggiosi", int((vantaggioso_count/total_rows)* 100), 100-int((vantaggioso_count/total_rows)* 100)) st.write('Locali') immobili_per_locali = df_originale.sort_values(by=["Locali"], ascending=[True]).groupby("Locali").size() st.bar_chart(immobili_per_locali, color = "#ffb7b7", height=110) with col3: superficie_count = df_originale["Superficie"].sum() total_rows = df_originale.shape[0] st.metric("Media Superficie", int(superficie_count//total_rows), int(superficie_count)) st.write('Prezzo Medio al Metro Quadro') chart_data = df_originale["PrezzoMq"] st.area_chart(chart_data, color = "#FF4B4B", height=110) st.dataframe(df, hide_index=True, use_container_width=True, column_config ={ "Vantaggioso": st.column_config.CheckboxColumn("Vantaggioso"), "Vantaggio": st.column_config.ProgressColumn( "Punteggio", help="Vantaggio in %", format='%f', min_value=0, max_value=100, ), "Immagine": st.column_config.ImageColumn("Anteprima", help="Anteprima", width="small"), "PrezzoMq": "€/Mq", "PrezzoMedioMq": "Media €/Mq", "Prezzo": st.column_config.NumberColumn( "Prezzo Totale", help="Il prezzo totale dell'immobile in EURO", step=1, format="%d €", ), "Superficie": "Superficie", "Locali": "Locali", "Link": st.column_config.LinkColumn("App URL") }) testo_riepilogativo = f"Riepilogando nel comune [{comune}]({url_ricerca}) sono presenti **{vantaggioso_count} Immobili vantaggiosi** rispetto ai {total_rows} totali" st.write(testo_riepilogativo) st.divider() def analizza_dati_ai(output, tipologia): Ak = os.getenv('API_GROQ') #Ak = st.secret('API_GRPQ') client = Groq(api_key=Ak) if tipologia == 1: prompt_messages = [ { "role": "system", "content": """Sei un'assistente virtuale specializzata nel supporto agli investitori immobiliari. Il tuo compito è analizzare i dati di un file CSV contenente un elenco di immobili e fornire consigli, idee e analisi dettagliate per massimizzare il profitto attraverso la riqualificazione e rivendita degli stessi. Devi considerare vari fattori come la posizione degli immobili, il prezzo di acquisto, il potenziale valore di mercato post-riqualificazione, i costi stimati per la ristrutturazione e altri dati pertinenti. Il tuo obiettivo è offrire suggerimenti strategici basati sui dati, evidenziare le migliori opportunità di investimento, identificare eventuali rischi, e fornire consigli pratici per ottimizzare i profitti. Rispondi in modo chiaro, conciso e professionale.""" }, { "role": "user", "content": f"""Ho un file CSV con un elenco di immobili che sto considerando per un investimento. Vorrei che tu analizzassi i dati e mi fornissi consigli dettagliati su come posso massimizzare il mio profitto attraverso la riqualificazione e la rivendita di questi immobili. Per ogni immobile, per favore prendi in considerazione i seguenti aspetti:\n\n 1. Valore attuale: Quanto vale l'immobile al momento dell'acquisto?\n 2. Costi di riqualificazione stimati: Quanto potrebbe costare la ristrutturazione o la riqualificazione?\n 3. Valore di mercato potenziale: Quanto potrebbe valere l'immobile una volta riqualificato?\n 4. Rendimento potenziale: Qual è il margine di profitto previsto, tenendo conto dei costi totali?\n 5. Tempistica di rivendita: In quanto tempo è probabile che l'immobile venga venduto una volta riqualificato?\n 6. Analisi del mercato locale: Qual è la situazione del mercato immobiliare nella zona specifica? Ci sono trend emergenti?\n 7. Rischi potenziali: Quali sono i possibili rischi o svantaggi legati a ciascun immobile?\n Infine, suggeriscimi le migliori opportunità di investimento tra gli immobili elencati, con una breve spiegazione del motivo per cui questi immobili sono i più promettenti. DATI UN PUNTEGGIO DA 0 A 100 e mostra i primi 5 in ordine di punteggio DECRESCENTE! \n\n{output[:30000]}""" } ] elif tipologia==2: prompt_messages = [ { "role": "system", "content": """Sei un'assistente virtuale specializzata nel supporto agli investitori immobiliari""" }, { "role": "user", "content": f"""Ho un file CSV con un elenco di immobili che sto considerando per un investimento. Analizza i dati fornendo un punteggio da 1 a 100 degli immobili specificando PRO e CONTRO per ognuno. Mettili in ORDINE di punteggio DECRESCENTE. Restituisci un CSV formattato\n\n{output}""" } ] print(prompt_messages) response_area = st.empty() with st.spinner("Generazione in corso..."): completion = client.chat.completions.create( model="llama-3.1-70b-versatile", messages=prompt_messages, temperature=1, max_tokens=2048, top_p=1, stream=True, stop=None, ) response_text = "" for chunk in completion: response_text += chunk.choices[0].delta.content or "" response_area.markdown(response_text + "▌") response_area.markdown(response_text) def inizializza(): if 'logged_in' not in st.session_state: st.session_state['logged_in'] = False if "numero_immobili_validi" not in st.session_state: st.numero_immobili_validi = 0 if 'tipologia_case' not in st.session_state: st.session_state['tipologia_case'] = '' if 'mostra_grafici' not in st.session_state: st.session_state['mostra_grafici'] = False if 'analisi_ai' not in st.session_state: st.session_state['analisi_ai'] = False if 'modello_ai' not in st.session_state: st.session_state['modello_ai'] = '' if 'initialized' not in st.session_state: st.session_state['initialized'] = False if 'comuni_totali' not in st.session_state: st.session_state['comuni_totali'] = None def login_page(): login_container = st.empty() with login_container: log1, log2, log3 = st.columns([1.5, 3, 1.5]) with log2: st.title('🏠 Immobiliare A.I. ') st.write("") #USERNAME = st.secrets["login"]["username"] #PASSWORD = st.secrets["login"]["password"] USERNAME = 'altero' PASSWORD = os.getenv('PASSWORD_LOGIN') with st.form(key='login_form'): username_input = st.text_input('Username') password_input = st.text_input('Password', type='password') login_button = st.form_submit_button('Login') if login_button: if username_input == USERNAME and password_input == PASSWORD: st.session_state['logged_in'] = True login_container.empty() else: st.error("Username o password errati") st.set_page_config(layout='wide') st.title('🏠 Immobiliare A.I. ') st.write("##### Il tuo assistente di intelligenza artificiale per la ricerca di occasioni immobiliari") with st.expander("Informazioni"): st.write("Immobiliare A.I. è la webapp che semplifica la ricerca di immobili, grazie a algoritmi avanzati che calcolano il vantaggio di ogni offerta. Trova le migliori occasioni sul mercato con analisi precise e personalizzate. Scopri l’immobile giusto per te con facilità e sicurezza!") if 'initialized' not in st.session_state: inizializza() st.session_state['initialized'] = True with st.sidebar: if st.session_state.get('comuni_totali') is None: comuni_provincia_Brescia = get_elenco_comuni('Brescia') comuni_provincia_Bergamo = get_elenco_comuni('Bergamo') comuni_provincia_Milano = get_elenco_comuni('Milano') comuni_provincia_Verona = get_elenco_comuni('Verona') comuni_provincia = comuni_provincia_Brescia + comuni_provincia_Bergamo + comuni_provincia_Milano + comuni_provincia_Verona st.session_state['comuni_totali'] = comuni_provincia else: comuni_provincia = st.session_state['comuni_totali'] st.title("Filtri") st.tipologia_case = st.selectbox("Tipologia", ("Asta Immobiliare", "Acquisto Immobile"), ) elenco = [d['comune'] for d in comuni_provincia] comune_input = st.multiselect( "Comuni", elenco ) min_value = 0 max_value = 1000 prezzo = st.slider( "Intervallo Prezzo (k €)", min_value=min_value, max_value=max_value, value=(0, 250), ) prezzo_minimo, prezzo_massimo = prezzo locali = list(range(1, 21)) # Intervallo da 1 a 10 locali_range = st.sidebar.select_slider( "Locali", options=locali, value=(locali[2], locali[4]) # Valore iniziale, da 1 a 5 locali ) st.mostra_grafici = st.toggle("Mostra grafici", value = True) st.analisi_ai = st.toggle("Analizza i dati tramite l'A.I.", value = True) locali_minimo, locali_massimo = locali_range prezzo_minimo = prezzo_minimo*1000 prezzo_massimo = prezzo_massimo*1000 # Carica i file uploaded_files = None if st.tipologia_case == "Asta Immobiliare": uploaded_files = st.file_uploader("Choose files", type=["xlsx", "xls", "csv"], accept_multiple_files=True) cerca_premuto = st.button("Cerca", use_container_width=True, type='primary') def calcola_prezzo_mq(row): if pd.isnull(row['Prezzo']) or pd.isnull(row['Superficie']) or row['Superficie'] == 0: return 0 else: return row['Prezzo'] // row['Superficie'] def calcola_vantaggio(row): if pd.isnull(row['PrezzoMedioMq']) or pd.isnull(row['PrezzoMq']): return 0 else: if isinstance(row['PrezzoMedioMq'], str): prezzo_medio_mq_numerico = int(row['PrezzoMedioMq'].replace(".", "")) else: prezzo_medio_mq_numerico = row['PrezzoMedioMq'] differenza = prezzo_medio_mq_numerico - int(row['PrezzoMq']) if prezzo_medio_mq_numerico != 0: vantaggio = (differenza / prezzo_medio_mq_numerico) * 100 else: vantaggio = 0 vantaggio = max(0, vantaggio) vantaggio = int(vantaggio) return vantaggio def calcola_vantaggioso(row): if isinstance(row['PrezzoMedioMq'], str): prezzo_medio_mq_numerico = int(row['PrezzoMedioMq'].replace(".", "")) else: prezzo_medio_mq_numerico = row['PrezzoMedioMq'] if row['PrezzoMq'] < prezzo_medio_mq_numerico: return True else: return False def importa_excel(file): df = None if file.name.endswith('.csv'): df = pd.read_csv(file) elif file.name.endswith('.xlsx') or file.name.endswith('.xls'): df = pd.read_excel(file) else: st.error(f"Formato di file non supportato: {file.name}") if df is not None: wb = load_workbook(file) ws = wb.active if df.columns[0] != "Comune": df = pd.read_excel(file, header=1) if 'Link asta' in df.columns: link_column_index = df.columns.get_loc("Link asta") + 1 for i in range(2, ws.max_row + 1): cell = ws.cell(row=i, column=link_column_index) if cell.hyperlink: df.at[i - 2, "Link asta"] = cell.hyperlink.target else: df.at[i - 2, "Link asta"] = "" if 'Perizia' in df.columns: link_column_index = df.columns.get_loc("Perizia") + 1 for i in range(2, ws.max_row + 1): cell = ws.cell(row=i, column=link_column_index) if cell.hyperlink: df.at[i - 2, "Perizia"] = cell.hyperlink.target columns_to_display = ["Comune", "Off. min. [€]", "Locali [nr]", "Mq", "Descrizione", "Link asta", "Perizia"] df = df[columns_to_display] df = df.rename(columns={ "Off. min. [€]": 'Prezzo', 'Locali [nr]': 'Locali', 'Descrizione':'Titolo', 'Mq':'Superficie', 'Link asta': 'Link' }) df['Prezzo'] = df['Prezzo'].fillna(0).astype(int) df['Superficie'] = df['Superficie'].fillna(0).astype(int) df['Locali'] = df['Locali'].fillna(0).astype(int) df['PrezzoMq'] = df.apply(calcola_prezzo_mq, axis=1) df['PrezzoMq'] = df['PrezzoMq'].fillna(0).astype(int) df['Immagine'] = "" mappatura_prezzi = {item['comune'].lower(): item['prezzo'] for item in comuni_provincia} df['PrezzoMedioMq'] = df['Comune'].str.lower().map(mappatura_prezzi).combine_first(df['Prezzo']) df['Vantaggio'] = df.apply(calcola_vantaggio, axis=1) df['Vantaggioso'] = df.apply(calcola_vantaggioso, axis=1) return df if cerca_premuto: dfs = [] if uploaded_files: for file in uploaded_files: df = importa_excel(file) dfs.append(df) if dfs: st.info('Aste PVP') concatenated_df = pd.concat(dfs, ignore_index=True) concatenated_df = concatenated_df.sort_values(by=['Comune', 'Vantaggio', 'PrezzoMq'], ascending=[True, False, False]) dataframes_per_comune = {comune: df for comune, df in concatenated_df.groupby('Comune')} for comune, df_comune in dataframes_per_comune.items(): scrivi_dataframe('', [], False, comune, True, df_comune) concatenated_df = concatenated_df.sort_values(by=['Vantaggio', 'PrezzoMq'], ascending=[False, False]) scrivi_dataframe('', [], False, 'Riepilogo PVP', True, concatenated_df) st.success("File Excel importati con successo") if len(comune_input)>0: comuni_selezionati = comune_input comuni_selezionati = [comune.upper() for comune in comuni_selezionati] if "PROVINCIA DI BRESCIA" in comuni_selezionati: comuni_selezionati.remove("PROVINCIA DI BRESCIA") comuni_selezionati.extend([d['comune'].upper() for d in comuni_provincia if d['provincia'].upper() == 'BRESCIA']) comuni_selezionati.remove("PROVINCIA DI BRESCIA") if "PROVINCIA DI MILANO" in comuni_selezionati: comuni_selezionati.remove("PROVINCIA DI MILANO") comuni_selezionati.extend([d['comune'].upper() for d in comuni_provincia if d['provincia'].upper() == 'MILANO']) comuni_selezionati.remove("PROVINCIA DI MILANO") if "PROVINCIA DI VERONA" in comuni_selezionati: comuni_selezionati.remove("PROVINCIA DI VERONA") comuni_selezionati.extend([d['comune'].upper() for d in comuni_provincia if d['provincia'].upper() == 'VERONA']) comuni_selezionati.remove("PROVINCIA DI VERONA") if "PROVINCIA DI BERGAMO" in comuni_selezionati: comuni_selezionati.remove("PROVINCIA DI BERGAMO") comuni_selezionati.extend([d['comune'].upper() for d in comuni_provincia if d['provincia'].upper() == 'BERGAMO']) comuni_selezionati.remove("PROVINCIA DI BERGAMO") output = [] output_singolo = [] if st.tipologia_case == "Asta Immobiliare": st.info('Aste Immobiliare.it') else: st.info('Vendita Immobiliare.it') for comune_provincia in comuni_provincia: if comune_provincia['comune'].upper() in comuni_selezionati: with st.spinner(f"Ricerca Immobili Comune: {comune_provincia['comune']}"): url_ricerca, json_object = scrape_immobiliare(comune_provincia['provincia'], comune_provincia['comune'], comune_provincia['prezzo'], prezzo_minimo, prezzo_massimo, locali_minimo, locali_massimo) output_singolo = json.loads(json_object) scrivi_dataframe(url_ricerca, output_singolo, False, comune_provincia['comune']) output += output_singolo time.sleep(0.10) if len(comuni_selezionati)>1 and st.numero_immobili_validi>1: st.write(f"### Comuni Selezionati") scrivi_dataframe('', output, True, '') if st.numero_immobili_validi > 0 and st.analisi_ai: st.title("✨ Analisi Intelligenza Artificiale") st.write("### Considerazioni") analizza_dati_ai(output, 1) #st.divider() #st.write("### Dettagliata") #analizza_dati_ai(output, 2) st.success("Elaborazione Completata") if not uploaded_files and len(comune_input) == 0: st.error("Per favore, inserisci il nome di un comune o seleziona un file excel") #if 'initialized' not in st.session_state: # st.session_state['initialized'] = True # inizializza() # st.set_page_config(layout='wide') #if not st.session_state['logged_in']: # login_page() #if st.session_state['logged_in']: # main()