Upload 3 files

app.py

@@ -0,0 +1,127 @@
+
+import  streamlit as st
+from collections import Counter
+import pandas as pd
+import numpy as np
+import re 
+import json
+import matplotlib.pyplot as plt
+import nltk
+nltk.download('stopwords')
+from wordcloud import WordCloud
+from nltk.corpus import stopwords
+import spacy
+nlp = spacy.load("es_core_news_sm")
+
+def lemmatize_text(text):
+    doc = nlp(text)
+    lemmatized = ' '.join([token.lemma_ for token in doc if not token.is_stop])
+    return lemmatized
+
+def clean_text(series):
+    # Convertir la serie a una sola cadena de texto
+    text = ' '.join(series.dropna().astype(str))
+    # Eliminar caracteres no deseados (opcional, pero recomendado)
+    text = re.sub(r'[^\w\s]', '', text.lower())
+    # Lematizar el texto
+    lemmatized_text = lemmatize_text(text)
+    # Eliminar stopwords adicionales que no fueron removidas por spaCy
+    stop_words = set(stopwords.words('spanish'))
+    stop_words.update(["maestro", "clase", "profesor", "doctor", "profe", "alumno", "dr", "doctora", "material", "maestra", "ms", "mejor"])
+    words = [word for word in lemmatized_text.split() if word not in stop_words]
+    cleaned_text = ' '.join(words)
+    return cleaned_text
+
+    # Crear la nube de palabras
+def create_wordcloud_from_series(cleaned_text, escuela):
+    wordcloud = WordCloud(width=800, height=400, background_color='white').generate(cleaned_text)
+    # Mostrar la nube de palabras
+    plt.figure(figsize=(10, 5))
+    plt.imshow(wordcloud, interpolation='bilinear')
+    plt.axis('off')
+    plt.show()
+    #st.write(f"Palabras mas utilizadas por los alumnos de {escuela}")
+    st.pyplot(plt)
+    
+
+
+def plot_top_words(words, top_n=20):
+    words = words.split(" ")
+    word_counts = Counter(words)
+    common_words = word_counts.most_common(top_n)
+    words, counts = zip(*common_words)
+    fig, ax = plt.subplots(figsize=(10, 5))
+    ax.bar(words, counts)
+    plt.xticks(rotation=90)
+    plt.xlabel('Palabras')
+    plt.ylabel('Frecuencia')
+    plt.title(f'Top {top_n} palabras más usadas')
+    st.pyplot(fig)
+
+
+# cargamos información de Escuelas
+escuelas = pd.read_json('./escuelas.json', orient='records', lines=True).drop(columns = "Unnamed: 0")
+categories = escuelas["Escuela"].unique()
+
+# cargamos datos
+datos = pd.read_json('./datos.json', orient='records', lines=True)
+print(datos.columns)
+
+def tabla_materias(df):
+    # seleccionamos las materias con más comentarios
+    materias = df["Class Name"].value_counts().index[:12]
+    df_f = df[df["Class Name"].isin(materias)].groupby("Class Name").sentimiento.value_counts(normalize = True).fillna(0).unstack(-1).style.format('{:.2%}')
+    return df_f
+
+def tabla_anio(df):
+    # seleccionamos las materias con más comentarios
+    df["year"] = df.Date.dt.year
+    df_f = df.groupby(["year"]).sentimiento.value_counts(normalize = True).fillna(0.0).unstack(0).T.reset_index() # .style.format('{:.2%}')
+    fig, ax = plt.subplots(figsize=(10, 5))
+    for column in ["postivo", "negativo"]:
+        ax.plot(df_f['year'], df_f[column], label=column)
+    ax.set_xlabel('Year')
+    ax.set_ylabel('%')
+    ax.set_title('Sentimiento anual por años')
+    ax.legend()
+    return st.pyplot(fig)
+    
+
+
+def main():
+    st.title('Análisis de Sentimiento a comentarios Realizados en MisProfesores.com')
+    selected_category = st.selectbox("Seleccionar una Escuela para hacer Web Scrapping", categories)
+    datos_f= datos[datos.escuela == selected_category] 
+    # eliminar al cambiar el dato
+    # generamos dos conjuntos de datos para comparar
+    datos_positivos = datos_f[datos_f.sentimiento == "postivo"]
+    # generamos dos conjuntos de datos para comparar
+    datos_negativos = datos_f[datos_f.sentimiento == "negativo"]
+
+
+    for key, dat in {"positivas": datos_positivos , "negativas": datos_negativos}.items():
+        st.header(f"Palabras mas utilizadas por los alumnos con calificaciones {key}")
+        # generamos nube de palabras
+        cleaned_text = clean_text(dat.Comments)
+        create_wordcloud_from_series(cleaned_text, selected_category)
+        plot_top_words(cleaned_text, top_n=20)
+    
+    # desplegamos los resultados de las 5 materias mas comunes 
+    st.header(f"Así es cómo los alumnos de la {selected_category} se sienten a lo largo de los años")
+    tabla_anio(datos_f)
+    st.write(f"curioso como el porcentaje de sentimientos positivos baja por culpa de la pandemia")
+
+    st.header(f"estas fueron las calificaciones de las materias más comentadas de {selected_category}")
+    st.dataframe( tabla_materias(datos_f))
+
+    st.write(f"aqui puedes observar los datos por si tienes curiosidad de lo que dicen los usuarios!")
+    st.dataframe( datos_positivos)
+
+if __name__ == "__main__":
+    main()
+    
+
+
+
+
+

escuelas.json

@@ -0,0 +1,28 @@
+{"Unnamed: 0":0,"Escuela":"FACMED","Municipio":"Monterrey","Estado":"Nuevo Leon","num_prof":186,"url":"https:\/\/www.misprofesores.com\/escuelas\/UANL-Facultad-de-Medicina_1448"}
+{"Unnamed: 0":6,"Escuela":"FO","Municipio":"Monterrey","Estado":"Nuevo Leon","num_prof":91,"url":"https:\/\/www.misprofesores.com\/escuelas\/UANL-Facultad-de-Odontologia_1555"}
+{"Unnamed: 0":11,"Escuela":"FAMUS","Municipio":"Monterrey","Estado":"Nuevo Le\u00c3\u00b3n","num_prof":67,"url":"https:\/\/www.misprofesores.com\/escuelas\/FACULTAD-DE-MUSICA-UANL_3769"}
+{"Unnamed: 0":17,"Escuela":"FACDYC","Municipio":"Cd. UNIVERSITARIA , SAN NICOLAS DEW LOS GARZA ,N,L","Estado":"NUEVO LEON","num_prof":13,"url":"https:\/\/www.misprofesores.com\/escuelas\/UANLFACDYC_3602"}
+{"Unnamed: 0":19,"Escuela":"FCC","Municipio":"Monterrey","Estado":"NL","num_prof":110,"url":"https:\/\/www.misprofesores.com\/escuelas\/Facultad-de-Ciencias-de-la-Comunicacion-UANL_3312"}
+{"Unnamed: 0":21,"Escuela":"AGRO","Municipio":"Escobedo","Estado":"Nuevo Le\u00c3\u00b3n","num_prof":14,"url":"https:\/\/www.misprofesores.com\/escuelas\/Facultad-de-Agronomia-UANL_3299"}
+{"Unnamed: 0":23,"Escuela":"FACPYA","Municipio":"monterrey","Estado":"nuevo leon","num_prof":8,"url":"https:\/\/www.misprofesores.com\/escuelas\/FACPYAP-UANL_3228"}
+{"Unnamed: 0":25,"Escuela":"FAV","Municipio":"Monterrey","Estado":"NUEVO LEON","num_prof":15,"url":"https:\/\/www.misprofesores.com\/escuelas\/UANL-ARTES-VISUALES_3194"}
+{"Unnamed: 0":29,"Escuela":"FIC","Municipio":"Monterrey","Estado":"Nuevo Leon","num_prof":143,"url":"https:\/\/www.misprofesores.com\/escuelas\/Facultad-de-Ingenieria-Civil-UANL_2888"}
+{"Unnamed: 0":31,"Escuela":"FARQ","Municipio":"SAN NICOLAS","Estado":"NUEVO LEON","num_prof":538,"url":"https:\/\/www.misprofesores.com\/escuelas\/FARQ-UANL_2628"}
+{"Unnamed: 0":33,"Escuela":"FASPYN","Municipio":"Monterrey","Estado":"Nuevo Le\u00c3\u00b3n","num_prof":72,"url":"https:\/\/www.misprofesores.com\/escuelas\/FASPYN-UANL_2517"}
+{"Unnamed: 0":35,"Escuela":"FACMED","Municipio":"Monterrey","Estado":"Nuevo Leon","num_prof":46,"url":"https:\/\/www.misprofesores.com\/escuelas\/Facultad-de-Medicina-UANL_2374"}
+{"Unnamed: 0":36,"Escuela":"FCQ","Municipio":"Monterrey","Estado":"NL","num_prof":67,"url":"https:\/\/www.misprofesores.com\/escuelas\/Facultad-de-Ciencias-Quimicas-UANL_5378"}
+{"Unnamed: 0":38,"Escuela":"FACPYA","Municipio":"San Nicol\u00c3\u00a1s De Los Garza","Estado":"Nuevo Leon","num_prof":775,"url":"https:\/\/www.misprofesores.com\/escuelas\/UANL-FACPYA_2373"}
+{"Unnamed: 0":41,"Escuela":"FACDYC","Municipio":"San Nicol\u00c3\u00a1s de los Garza","Estado":"Nuevo Le\u00c3\u00b3n","num_prof":125,"url":"https:\/\/www.misprofesores.com\/escuelas\/UANL-Facultad-de-Derecho-y-Criminologia_2323"}
+{"Unnamed: 0":44,"Escuela":"FACPYA","Municipio":"mty","Estado":"Nuevo Leon","num_prof":68,"url":"https:\/\/www.misprofesores.com\/escuelas\/Facultad-de-Ciencias-Politicas-y-Admon-Pub-UANL_2277"}
+{"Unnamed: 0":47,"Escuela":"FCQ","Municipio":"mty","Estado":"nuevo leon","num_prof":13,"url":"https:\/\/www.misprofesores.com\/escuelas\/uanl-facultad-de-ciencias-quimicas_2274"}
+{"Unnamed: 0":48,"Escuela":"FARQ","Municipio":"Monterrey","Estado":"Nuevo Le\u00c3\u00b3n","num_prof":14,"url":"https:\/\/www.misprofesores.com\/escuelas\/Facultad-de-Arquitectura-y-Diseno-Industrial-UANL_5172"}
+{"Unnamed: 0":50,"Escuela":"FCT","Municipio":"linares","Estado":"Nuevo le\u00c3\u00b3n","num_prof":8,"url":"https:\/\/www.misprofesores.com\/escuelas\/UANL-FCT_2269"}
+{"Unnamed: 0":53,"Escuela":"FCFM","Municipio":"San Nicolas de los Garza","Estado":"Nuevo Leon","num_prof":26,"url":"https:\/\/www.misprofesores.com\/escuelas\/Facultad-de-Ciencias-FisicoMatematicas-UANL_2267"}
+{"Unnamed: 0":54,"Escuela":"FCT","Municipio":"Linares","Estado":"Nuevo Le\u00c3\u00b3n","num_prof":13,"url":"https:\/\/www.misprofesores.com\/escuelas\/Facultad-de-ciencias-de-la-tierra-UANL_5147"}
+{"Unnamed: 0":56,"Escuela":"FCFM","Municipio":"San Nicol\u00c3\u00a1s de los Garza","Estado":"Nuevo Le\u00c3\u00b3n","num_prof":621,"url":"https:\/\/www.misprofesores.com\/escuelas\/UANL-FCFM_2263"}
+{"Unnamed: 0":59,"Escuela":"VET","Municipio":"Monterrey","Estado":"Nuevo Le\u00c3\u00b3n","num_prof":25,"url":"https:\/\/www.misprofesores.com\/escuelas\/Facultad-de-Medicina-Veterinaria-y-Zootecnia-UANL_2014"}
+{"Unnamed: 0":65,"Escuela":"","Municipio":"Monterrey","Estado":"Nuevo Le\u00c3\u00b3n","num_prof":100,"url":"https:\/\/www.misprofesores.com\/escuelas\/UANL_1760"}
+{"Unnamed: 0":68,"Escuela":"FAPSI","Municipio":"Monterrey","Estado":"Nuevo Leon","num_prof":77,"url":"https:\/\/www.misprofesores.com\/escuelas\/Facultad-de-Psicologia-UANL_1643"}
+{"Unnamed: 0":74,"Escuela":"FCB","Municipio":"Monterrey","Estado":"Nuevo Leon","num_prof":126,"url":"https:\/\/www.misprofesores.com\/escuelas\/UANL-Faculta-de-Ciencias-Biologicas_1537"}
+{"Unnamed: 0":77,"Escuela":"FFYL","Municipio":"monterrey","Estado":"nuevo leon","num_prof":212,"url":"https:\/\/www.misprofesores.com\/escuelas\/uanl-filosofia-y-letras_1487"}
+{"Unnamed: 0":80,"Escuela":"FIME","Municipio":"Monterrey","Estado":"Nuevo Le\u00c3\u00b3n","num_prof":23,"url":"https:\/\/www.misprofesores.com\/escuelas\/UANL-Facultad-de-Ingenieria-Mecanica-yElectrica_1482"}