LaMDA
# LaMDA

LaMDA, que significa Language Model for Dialogue Applications (modelo de lenguaje para aplicaciones de diálogo), es una familia de modelos de lenguaje neuronal conversacional desarrollado por Google . La primera generación se anunció durante el discurso de apertura de Google I/O de 2021, mientras que la segunda generación se anunció en el evento del año siguiente. En junio de 2022, LaMDA llamó la atención cuando el ingeniero de Google, Blake Lemoine, afirmó que el chatbot se había vuelto sensible. La comunidad científica ha rechazado en gran medida las afirmaciones de Lemoine, aunque ha dado lugar a conversaciones sobre la eficacia de la prueba de Turing, que mide si una computadora puede pasar por un ser humano.

## Historia

### Anuncios

Google anunció el modelo de lenguaje neuronal conversacional LaMDA durante el discurso de apertura de Google I/O el 18 de mayo de 2021, impulsado por inteligencia artificial . Construido sobre la arquitectura de red neuronal Transformer desarrollada por Google Research en 2017, LaMDA se capacitó en diálogos humanos e historias, lo que le permitió entablar conversaciones abiertas. Google afirma que se ha asegurado de que las respuestas generadas por LaMDA sean "sensatas, interesantes y específicas para el contexto".

LaMDA 2 fue presentada por Google el 11 de mayo de 2022, en la keynote de la conferencia Google I/O de 2022. La versión actualizada del modelo utiliza ejemplos de texto de diversas fuentes para crear "conversaciones naturales" originales sobre temas para los que no ha sido enseñado. Google también presentó AI Test Kitchen, una aplicación móvil que ejecuta LaMDA 2 y puede generar listas de recomendaciones en respuesta a un objetivo complejo. Se suponía que en algún momento de este año "académicos, investigadores y responsables políticos selectos" podrían acceder a la aplicación por invitación, después de haber estado restringida inicialmente sólo a los empleados de Google. La empresa empezó a permitir a los estadounidenses inscribirse para un acceso anticipado en agosto de 2022.

### Reclamaciones de sensibilidad

Blake Lemoine, ingeniero de Google, habría informado a los ejecutivos Blaise Agüera y Arcas y Jen Gennai de que LaMDA había desarrollado sensibilidad. The Washington Post informó de ello el 11 de junio de 2022. Tras las dudosas respuestas del chatbot a preguntas sobre identidad propia, principios morales, religión y las Tres Leyes de la Robótica de Isaac Asimov, Lemoine llegó a esta conclusión. Estas afirmaciones fueron refutadas por Google, que insistió en que había pruebas contundentes que demostraban la falta de sensibilidad de LaMDA. Lemoine se reafirmó en sus afirmaciones de que LaMDA era "una persona" según la definición de la Decimotercera Enmienda en una entrevista con Wired, equiparándola a una "inteligencia alienígena de origen terrestre". Lemoine continuó diciendo que había sido despedido por Google después de contratar a un abogado para representar a LaMDA a petición del chatbot. Afirmando que Blake había incumplido sus políticas "para salvaguardar la información del producto", Google despidió a Lemoine el 22 de julio y rechazó las afirmaciones de Blake por "totalmente infundadas".

## Método

LaMDA utiliza un modelo de lenguaje de transformador de solo decodificador. Está pre-entrenado en un corpus de texto que incluye documentos y diálogos que consta de 1.56 billones de palabras, y luego se entrena con datos de ajuste fino generados por respuestas anotadas manualmente para sensatez, interés y seguridad. Las pruebas realizadas por Google indicaron que LaMDA superó las respuestas humanas en el área de interés. El modelo de transformador LaMDA y un sistema externo de recuperación de información interactúan para mejorar la precisión de los datos proporcionados al usuario.

Se probaron tres modelos diferentes, el más grande con 137 mil millones de parámetros no integrados:

Hiperparámetros del modelo de transformador :

| Parámetros | Capas | Unidades ( $_{modelo}$ d) | cabezas |
| - | - | - | - |
| 2B | 10 | 2560 | 40 |
| 8B | dieciséis | 4096 | 64 |
| 137B | 64 | 8192 | 128 |
