Análisis de comentarios sexistas en linea
', unsafe_allow_html=True) st.markdown(""" """, unsafe_allow_html=True) st.markdown(""" """, unsafe_allow_html=True) st.markdown('Este proyecto consiste en una aplicación web que utiliza la biblioteca Tweepy de Python para descargar tweets de Twitter, permitiendo buscar Tweets por usuario y por localidad. Luego, utiliza modelos de lenguaje basados en Transformers para analizar los tweets y detectar comentarios sexistas. Los resultados se almacenan en un dataframe para su posterior visualización y análisis. El objetivo del proyecto es identificar y proporcionar información sobre el discurso sexista en línea para combatir la discriminación y el acoso hacia las mujeres y otros grupos marginados, y así informar políticas y prácticas que promuevan la igualdad de género y la inclusión.
',unsafe_allow_html=True) def tweets_usuario(usuario, cant_de_tweets): tabla = [] if(cant_de_tweets > 0 and usuario != "" ): try: # Buscar la información del perfil de usuario user = api.get_user(screen_name=usuario) tweets = api.user_timeline(screen_name = usuario,tweet_mode="extended", count= cant_de_tweets) result = [] for tweet in tweets: if (tweet.full_text.startswith('RT')): continue else: text = tweet.full_text try: language = detect(text) if language == 'es': datos=limpieza_datos(text) if datos == "": continue else: prediction = pipeline_nlp(datos) for predic in prediction: etiqueta = {'Tweets': datos, 'Prediccion': predic['label'], 'Probabilidad': predic['score']} result.append(etiqueta) except: pass df = pd.DataFrame(result) if df.empty: muestra= st.text("No hay tweets Sexistas a analizar") tabla.append(muestra) else: df.sort_values(by=['Prediccion', 'Probabilidad'], ascending=[False, False], inplace=True) df['Prediccion'] = np.where(df['Prediccion'] == 'LABEL_1', 'Sexista', 'No Sexista') df['Probabilidad'] = df['Probabilidad'].apply(lambda x: round(x, 3)) muestra = st.table(df.reset_index(drop=True).head(30).style.applymap(color_survived, subset=['Prediccion'])) tabla.append(muestra) except Exception as e: muestra = st.text(f"La cuenta {search_words} no existe.") tabla.append(muestra) else: muestra= st.text("Ingrese los parametros correspondientes") tabla.append(muestra) return tabla def tweets_localidad(buscar_localidad): tabla = [] try: geolocator = Nominatim(user_agent="nombre_del_usuario") location = geolocator.geocode(buscar_localidad) radius = "15km" tweets = api.search_tweets(q="",lang="es",geocode=f"{location.latitude},{location.longitude},{radius}", count = 1000, tweet_mode="extended") result = [] for tweet in tweets: if (tweet.full_text.startswith('RT')): continue elif not tweet.full_text.strip(): continue else: datos = limpieza_datos(tweet.full_text) prediction = pipeline_nlp(datos) for predic in prediction: etiqueta = {'Tweets': datos,'Prediccion': predic['label'], 'Probabilidad': predic['score']} result.append(etiqueta) df = pd.DataFrame(result) if df.empty: muestra=st.text("No se encontraron tweets sexistas dentro de la localidad") tabla.append(muestra) else: #tabla.append(muestra) #df.sort_values(by=['Prediccion', 'Probabilidad'], ascending=[False, False], inplace=True) df.sort_values(by='Prediccion', ascending=False, inplace=True) df['Prediccion'] = np.where(df['Prediccion'] == 'LABEL_1', 'Sexista', 'No Sexista') df['Probabilidad'] = df['Probabilidad'].round(3) muestra = st.table(df.reset_index(drop=True).head(10).style.applymap(color_survived, subset=['Prediccion'])) tabla.append(muestra) #resultado=df.groupby('Prediccion')['Probabilidad'].sum() with st.container(): resultado = df['Prediccion'].head(10).value_counts() colores=["#EE3555","#aae977"] fig, ax = plt.subplots() fig.set_size_inches(2, 2) plt.pie(resultado,labels=resultado.index,autopct='%1.1f%%',colors=colores, textprops={'fontsize': 4}) ax.set_title("Porcentajes por Categorias", fontsize=5, fontweight="bold") plt.rcParams.update({'font.size':4, 'font.weight':'bold'}) ax.legend() # Muestra el gráfico plt.show() st.set_option('deprecation.showPyplotGlobalUse', False) st.pyplot() plt.bar(resultado.index, resultado, color=colores) ax.set_title("Porcentajes por Categorias", fontsize=5, fontweight="bold") plt.rcParams.update({'font.size':4, 'font.weight':'bold'}) ax.set_xlabel("Categoría") ax.set_ylabel("Probabilidad") # Muestra el gráfico plt.show() st.set_option('deprecation.showPyplotGlobalUse', False) st.pyplot() except AttributeError as e: muestra=st.text("No existe ninguna localidad con ese nombre") tabla.append(muestra) return tabla def analizar_frase(frase): language = detect(frase) if frase == "": tabla = st.text("Ingrese una frase") #st.text("Ingrese una frase") elif language == 'es': predictions = pipeline_nlp(frase) # convierte las predicciones en una lista de diccionarios data = [{'Texto': frase, 'Prediccion': prediction['label'], 'Probabilidad': prediction['score']} for prediction in predictions] # crea un DataFrame a partir de la lista de diccionarios df = pd.DataFrame(data) df['Prediccion'] = np.where( df['Prediccion'] == 'LABEL_1', 'Sexista', 'No Sexista') # muestra el DataFrame tabla = st.table(df.reset_index(drop=True).head(1).style.applymap(color_survived, subset=['Prediccion'])) else: tabla = st.text("Solo Frase en español") return tabla def run(): with st.form("my_form"): col,buff1, buff2 = st.columns([2,2,1]) st.write("Escoja una Opción") search_words = col.text_input("Introduzca la frase, el usuario o localidad para analizar y pulse el check correspondiente") number_of_tweets = col.number_input('Introduzca número de tweets a analizar del usuario Máximo 50', 0,50,0) termino=st.checkbox('Frase') usuario=st.checkbox('Usuario') localidad=st.checkbox('Localidad') submit_button = col.form_submit_button(label='Analizar') error =False if submit_button: # Condición para el caso de que esten dos check seleccionados if ( termino == False and usuario == False and localidad == False): st.text('Error no se ha seleccionado ningun check') error=True elif ( termino == True and usuario == True and localidad == True): st.text('Error se han seleccionado varios check') error=True if (error == False): if (termino): analizar_frase(search_words) elif (usuario): tweets_usuario(search_words,number_of_tweets) elif (localidad): tweets_localidad(search_words) run()