app.py

import tweepy as tw
import streamlit as st
import pandas as pd
import regex as re
import numpy as np
import pysentimiento
import geopy
import matplotlib.pyplot as plt
import langdetect

#Importar Nominatim para geocalización
from geopy.geocoders import Nominatim
#Importar pipeline para usar al modelo Transformer
from transformers import pipeline
#función detect es utilizada para detectar el idioma de un texto dado.
from langdetect import detect


model_checkpoint = "hackathon-pln-es/twitter_sexismo-finetuned-robertuito-exist2021" 
pipeline_nlp = pipeline("text-classification", model=model_checkpoint)

#Claves de acceso a la API de Twitter
consumer_key = "BjipwQslVG4vBdy4qK318KnoA"
consumer_secret = "3fzL70v9faklrPgvTi3zbofw9rwk92fgGdtAslFkFYt8kGmqBJ"
access_token = "1217853705086799872-Y5zEChpTeKccuLY3XJRXDPPZhNrlba"
access_token_secret = "pqQ5aFSJxzJ2xnI6yhVtNjQO36FOu8DBOH6DtUrPAU54J"
auth = tw.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)
api = tw.API(auth, wait_on_rate_limit=True)

#Función para limpiar datos
def limpieza_datos(tweet):
    # Eliminar emojis
    tweet = re.sub(r'[\U0001F600-\U0001F64F]', '', tweet)
    tweet = re.sub(r'[\U0001F300-\U0001F5FF]', '', tweet)
    tweet = re.sub(r'[\U0001F680-\U0001F6FF]', '', tweet)
    tweet = re.sub(r'[\U0001F1E0-\U0001F1FF]', '', tweet)
    # Eliminar arrobas
    tweet = re.sub(r'@\w+', '', tweet)
    # Eliminar URL
    tweet = re.sub(r'http\S+', '', tweet)
    # Eliminar hashtags
    tweet = re.sub(r'#\w+', '', tweet)
    # Eliminar caracteres especiales
    #tweet = re.sub(r'[^a-zA-Z0-9 \n\.]', '', tweet)
    tweet = re.sub(r'[^a-zA-Z0-9 \n\áéíóúÁÉÍÓÚñÑ.]', '', tweet)
    return tweet

#Función para cambiar el color de la palabra "Sexista"
def highlight_survived(s):
    return ['background-color: red']*len(s) if (s.Sexista == 1) else ['background-color: green']*len(s)

def color_survived(val):
    color = 'red' if val=='Sexista' else 'white'
    return f'background-color: {color}'

#Función para el ancho de la pagina web
st.set_page_config(layout="wide")
st.markdown('<style>body{background-color: Blue;}</style>',unsafe_allow_html=True)

#colT1,colT2 = st.columns([2,8])


st.markdown(""" <style> .font {
font-size:40px ; font-family: 'Cooper Black'; color: #301E67;} 
</style> """, unsafe_allow_html=True)

#st.markdown('<p class="font"; style="text-align: center;>Análisis de comentarios sexistas en linea</p>', unsafe_allow_html=True)
st.markdown('<p class="font" style="text-align: center;">Detectando el Sexismo en Linea: Un proyecto de Investigación</p>', unsafe_allow_html=True)

#Editar el tipo de letra
st.markdown(""" <style> .font1 {
font-size:28px ; font-family: 'Times New Roman'; color: #8d33ff;} 
</style> """, unsafe_allow_html=True)

st.markdown(""" <style> .font2 {
font-size:18px ; font-family: 'Times New Roman'; color: #5B8FB9;} 
</style> """, unsafe_allow_html=True)

#Parrafo
st.markdown('<p class="font2">Este proyecto consiste en una aplicación web que utiliza la biblioteca Tweepy de Python para descargar tweets de Twitter, permitiendo buscar Tweets por usuario y por localidad. Luego, utiliza modelos de lenguaje basados en Transformers para analizar los tweets y detectar comentarios y determinar si son "Sexistas" o "No Sexistas". El proyecto busca identificar y combatir el discurso sexista en línea para promover la igualdad de género y la inclusión.</p>',unsafe_allow_html=True)

#Función para extrer tweets de usuarios de Twitter, y analizarlos por el modelo Transformer
def tweets_usuario(usuario, cant_de_tweets):
  tabla = [] # crea una lista vacía llamada tabla
  if(cant_de_tweets > 0 and usuario != "" ):
      try:
          # Buscar la información del perfil de usuario
          user = api.get_user(screen_name=usuario)
          # utiliza la API de Twitter para buscar tweets en español de un usuario de Twitter
          tweets = api.user_timeline(screen_name = usuario,tweet_mode="extended", count= cant_de_tweets)
          result = [] # crea una lista vacía llamada result
          # itera a través de cada tweet en la lista de tweets encontrados
          for tweet in tweets:
              # si el tweet comienza con 'RT' o si el tweet está vacío, continúa con el siguiente tweet
              if (tweet.full_text.startswith('RT')):
                  continue
              else:
                  text = tweet.full_text
                  #Try Catch para detectar que sean del idioma español
                  try:
                      language = detect(text)
                      if language == 'es':
                          #Limpieza de cada tweet extraido
                          datos=limpieza_datos(text)
                          if datos == "":
                              continue
                          else:
                              #Predicción del modelo Transformer para cada tweet
                              prediction = pipeline_nlp(datos)
                              for predic in prediction:
                                   # Agrega la etiqueta de Tweets, Predicción y Probabilidad en una lista y la agrega a la lista de resultados
                                etiqueta = {'Tweets': datos, 'Prediccion': predic['label'], 'Probabilidad': predic['score']}
                                result.append(etiqueta)
                  except:
                      pass   
           # Crea un dataframe a partir de la lista de resultados
          df = pd.DataFrame(result)
           # Si el dataframe está vacío, muestra un mensaje de que no se encontraron tweets sexistas dentro de la localidad
          if df.empty:
              muestra= st.text("No hay tweets Sexistas a analizar")
              tabla.append(muestra)
           
          else:
               # ordena el dataframe por Predicción y Probabilidad en orden descendente
              df.sort_values(by=['Prediccion', 'Probabilidad'], ascending=[False, False], inplace=True)
              df['Prediccion'] = np.where(df['Prediccion'] == 'LABEL_1', 'Sexista', 'No Sexista')
              df['Probabilidad'] = df['Probabilidad'].apply(lambda x: round(x, 3))
              muestra = st.table(df.reset_index(drop=True).head(50).style.applymap(color_survived, subset=['Prediccion']))
              tabla.append(muestra)
      except Exception as e:
          #Try except para detectar si la cuenta es existente
          muestra = st.text(f"La cuenta {usuario} no existe.") 
          tabla.append(muestra) 
  else:
      #Condición que se solicita cuando no se llenaron los datos para la busqueda
      muestra= st.text("Ingrese los parametros correspondientes")
      tabla.append(muestra)      
  return tabla

#Función para buscar por localidad
def tweets_localidad(buscar_localidad):
    tabla = []  # crea una lista vacía llamada tabla
    try:
        #Crea un objeto Geolocalizador y busca la ubicación que se encuentra en el parámetro buscar_localidad
        geolocator = Nominatim(user_agent="nombre_del_usuario")
        location = geolocator.geocode(buscar_localidad)
        radius = "15km" #establece el radio de búsqueda en 15km
         # utiliza la API de Twitter para buscar tweets en español cerca de la ubicación encontrada
        tweets = api.search_tweets(q="",lang="es",geocode=f"{location.latitude},{location.longitude},{radius}", count = 100, tweet_mode="extended")
        result = [] # crea una lista vacía llamada result
        # itera a través de cada tweet en la lista de tweets encontrados
        for tweet in tweets:
            # si el tweet comienza con 'RT' o si el tweet está vacío, continúa con el siguiente tweet
            if (tweet.full_text.startswith('RT')):
                continue
            elif not tweet.full_text.strip():
                continue
            else:
                # Limpia los datos del tweet y realiza una predicción sobre si es sexista o no
                datos = limpieza_datos(tweet.full_text)
                prediction = pipeline_nlp(datos)
                for predic in prediction:
                    # Agrega la etiqueta de Tweets, Predicción y Probabilidad en una lista y la agrega a la lista de resultados
                    etiqueta = {'Tweets': datos,'Prediccion': predic['label'], 'Probabilidad': predic['score']}
                    result.append(etiqueta)
        # Crea un dataframe a partir de la lista de resultados
        df = pd.DataFrame(result)
        # Si el dataframe está vacío, muestra un mensaje de que no se encontraron tweets sexistas dentro de la localidad
        if df.empty:
            muestra=st.text("No se encontraron tweets sexistas dentro de la localidad")
            tabla.append(muestra)
        else:
            #tabla.append(muestra)
            # ordena el dataframe por Predicción y Probabilidad en orden descendente
            df.sort_values(by=['Prediccion', 'Probabilidad'], ascending=[False, False], inplace=True)
            # convierte la columna de Predicción en "Sexista" o "No Sexista" y redondea la columna de Probabilidad a 3 decimales
            df['Prediccion'] = np.where(df['Prediccion'] == 'LABEL_1', 'Sexista', 'No Sexista')
            df['Probabilidad'] = df['Probabilidad'].round(3)
            # Obtener los datos con probabilidad mayor a 0.50
            df = df[df['Probabilidad'] > 0.50]
            # Obtener los 3 primeros datos con mayor probabilidad sexista
            sexista_df = df[df['Prediccion'] == 'Sexista'].head(3)
            
            # Obtener los 3 primeros datos con mayor probabilidad no sexista
            no_sexista_df = df[df['Prediccion'] == 'No Sexista'].head(3)
            
            # Concatenar ambos dataframes
            muestra_df = pd.concat([sexista_df, no_sexista_df], axis=0)
            col1, col2 = st.columns(2)
            with col1:
                #lista de Tweets mostrados en pantalla
                muestra = st.table(muestra_df.reset_index(drop=True).head(6).style.applymap(color_survived, subset=['Prediccion']))
            with col2:
                resultado = df['Prediccion'].value_counts()
                def autopct_fun(abs_values):
                    gen = iter(abs_values)
                    return lambda pct: f"{pct:.1f}% ({next(gen)})"
                #Gráfico
                colores=["#aae977","#EE3555"]
                fig, ax = plt.subplots()
                fig.set_size_inches(2,2)
                plt.pie(resultado,labels=resultado.index,autopct=autopct_fun(resultado),colors=colores,  textprops={'fontsize': 5})
                ax.set_title("Porcentajes por Categorias en la localidad\n"+buscar_localidad.capitalize(), fontsize=5, fontweight="bold")
                plt.rcParams.update({'font.size':4, 'font.weight':'bold'})
                ax.legend()
                # Muestra el gráfico
                plt.show()
                st.set_option('deprecation.showPyplotGlobalUse', False)
                st.pyplot()

    except AttributeError as e:
        muestra=st.text("No existe ninguna localidad con ese nombre") 
        tabla.append(muestra)
                 
    return tabla 
    
   
def analizar_frase(frase):
    language = detect(frase)
    if frase == "":
        tabla = st.text("Ingrese una frase")
        #st.text("Ingrese una frase")
    elif language == 'es':
        predictions = pipeline_nlp(frase)
        # convierte las predicciones en una lista de diccionarios
        data = [{'Texto': frase, 'Prediccion': prediction['label'], 'Probabilidad': prediction['score']} for prediction in predictions]
        # crea un DataFrame a partir de la lista de diccionarios
        df = pd.DataFrame(data)
        df['Prediccion'] = np.where( df['Prediccion'] == 'LABEL_1', 'Sexista', 'No Sexista')
        # muestra el DataFrame
        tabla = st.table(df.reset_index(drop=True).head(1).style.applymap(color_survived, subset=['Prediccion']))
    else:
        tabla = st.text("Solo Frase en español")
        
    return tabla
    
#Función para correr el formulario
def run():
    # Se inicia una sesión Streamlit
    with st.form("my_form"):
         # Se solicita al usuario que ingrese la búsqueda que desea realizar
        search_words = st.text_input("Introduzca la frase, el usuario o localidad para analizar y pulse el check correspondiente")
         # Se solicita al usuario que ingrese la cantidad de tweets que desea analizar (máximo 50)
        number_of_tweets = st.number_input('Introduzca número de tweets a analizar del usuario Máximo 50', 0,50,0)
        st.write("Escoja una Opción:")
        # Se presenta al usuario las opciones de búsqueda (frase, usuario o localidad) mediante checkboxes
        termino=st.checkbox('Frase')
        usuario=st.checkbox('Usuario')
        localidad=st.checkbox('Localidad')
         # Se agrega un botón de envío para que el usuario pueda iniciar la búsqueda
        submit_button = st.form_submit_button(label='Analizar')
        # Se define una variable de error y se inicializa como falso
        error =False

         # Si el usuario hace clic en el botón de envío, se comprueban los checkboxes y se establece un mensaje de error si es necesario
        if submit_button:
            # Condición para el caso de que esten dos check seleccionados
            if ( termino == False and usuario == False and localidad == False):
                st.text('Error no se ha seleccionado ningun check')
                error=True
            elif ( termino == True and usuario == True and localidad == True):
                st.text('Error se han seleccionado varios check')
                error=True
       
        # Si no se ha producido ningún error, se inicia la búsqueda según la opción seleccionada           
        if (error == False):
          if (termino):
              analizar_frase(search_words)
          elif (usuario):
              tweets_usuario(search_words,number_of_tweets)
          elif (localidad):
              tweets_localidad(search_words)

# Se ejecuta la función run
run()