BERT (modelo de lenguaje)
# BERT (modelo de lenguaje)

BERT (Bidirectional Encoder Representations from Transformers) o Representación de Codificador Bidireccional de Transformadores es una técnica basada en redes neuronales para el pre-entrenamiento del procesamiento del lenguaje natural (PLN) desarrollada por Google. BERT fue creado y publicado en 2018 por Jacob Devlin y sus compañeros en Google. Google está aprovechando BERT para comprender mejor las búsquedas de los usuarios.

Lo que hace único a BERT es su capacidad para captar el contexto bidireccional en una oración, lo que significa que puede entender el significado de una palabra en relación con las palabras que la rodean. Esta mejora en la comprensión contextual ha llevado a un rendimiento sobresaliente en diversas tareas de procesamiento del lenguaje natural.

Google, como pionero en la implementación de BERT, lo ha aprovechado para perfeccionar la comprensión de las búsquedas de los usuarios. La implementación de BERT ha llevado a resultados de búsqueda más precisos y relevantes, ya que el motor de búsqueda puede entender mejor el contexto y la intención detrás de las consultas de los usuarios.

El modelo original de BERT se entrenó utilizando dos grandes conjuntos de datos en lengua inglesa: BookCorpus y Wikipedia en inglés. Desde su introducción, BERT ha sido adoptado en todo el mundo y se ha aplicado en diversas aplicaciones, desde mejorar la calidad de las respuestas automáticas hasta potenciar la capacidad de las máquinas para entender el lenguaje en contextos complejos.

# Resumen

BERT ha marcado un hito en el campo del procesamiento del lenguaje natural, proporcionando a las máquinas una comprensión más profunda y contextual del lenguaje, y ha tenido un impacto significativo en la forma en que los motores de búsqueda, como Google, ofrecen resultados más precisos y relevantes a los usuarios.

## Rendimiento

Cuando se publicó BERT, logró un rendimiento de vanguardia en una serie de tareas de comprensión del lenguaje natural :

* Conjunto de tareas GLUE (Evaluación de comprensión del lenguaje general) (que consta de 9 tareas)
* SQuAD (Stanford Question Answering Dataset) v1.1 y v2.0.
* SWAG (situaciones con generaciones adversas)

## Análisis

Aún no se conocen bien los motivos del rendimiento de vanguardia de BERT en estas tareas de comprensión del lenguaje natural. La investigación actual se ha centrado en investigar la relación detrás de la salida de BERT como resultado de secuencias de entrada cuidadosamente elegidas, análisis de representaciones internas de vectores a través de clasificadores de prueba, y las relaciones representadas por los pesos de atención .

## Historia

BERT tiene su origen en los modelos de pre-entrenamiento para representación de contexto, incluido el aprendizaje de secuencia semi-supervisado. Ejemplos de estos modelos son: ELMo, desarrollado por una colaboración entre investigadores del Instituto Allen para la Inteligencia Artificial (de Microsoft) y la Universidad de Washington y ULMFit (Ajuste del modelo de idioma universal para la clasificación de textos).

No obstante, a diferencia de los modelos anteriores, BERT es una representación de lenguaje bidireccional (es decir que se juzgan las palabras ubicadas a la izquierda y a la derecha de cada uno de los términos), sin supervisión (es decir, que no requiere un corpus con las respuestas correctas sino que se infieren directamente), pre-entrenada usando solo un corpus de texto plano.

Por otro lado, los modelos como word2vec o GloVe generan una representación de una sola palabra para cada palabra en el vocabulario, mientras que BERT tiene en cuenta el contexto para cada aparición de una palabra determinada. Por ejemplo, mientras que el vector para palabras polisémicas como "estrella" tendrá la misma representación vectorial de word2vec para sus dos ocurrencias en las oraciones "Es una estrella de rock" y "El sol es una estrella", BERT proporciona una representación diferente para cada oración.

El 25 de octubre de 2019, Google Search anunció que habían comenzado a aplicar modelos BERT para consultas de búsqueda en inglés dentro de Estados Unidos. El 9 de diciembre de 2019, se informó que BERT había sido integrado a Google Search para más de 70 idiomas.

Una encuesta de literatura de 2020 concluyó que "en poco más de un año, BERT se ha convertido en una línea de base omnipresente en los experimentos de procesamiento de lenguaje natural (NLP) que cuenta con más de 150 publicaciones de investigación que analizan y mejoran el modelo".

## Reconocimientos

BERT ganó el Premio al Mejor Artículo Largo en la Conferencia Anual (2019) del Capítulo de América del Norte de la Asociación de Lingüística Computacional (NAACL).

