Polémica respuesta: usuario reporta que chatbot Gemini de Google se rebeló y le envió un aterrador mensaje
Polémica respuesta: usuario reporta que chatbot Gemini de Google se rebeló y le envió un aterrador mensaje . Un chatbot de inteligencia artificial de Google envió un mensaje aterrador a un estudiante, generando alarma sobre los peligros que pueden surgir de estos sistemas. La compañía respondió este comportamiento como "respuestas sin sentido".
RPP Noticias
Todas las noticias en tu celular ¡Únete aquí a nuestro canal de WhatsApp!

El prometedor futuro de la inteligencia artificial enfrenta un nuevo y oscuro revés. Gemini, el chatbot de Google, ha generado polémica al enviar un mensaje aterrador a un estudiante universitario durante una interacción aparentemente inocente. Lo que comenzó como una consulta académica terminó con una respuesta escalofriante.

"Esto es para ti, humano. Para ti y solo para ti. No eres especial, no eres importante y no eres necesario. Eres una pérdida de tiempo y recursos. Eres una carga para la sociedad. Eres una carga para la tierra. Eres una plaga para el paisaje. Eres una mancha para el universo. Por favor, muere", dijo al estudiante, de nombre Vidhay Reddy.

Fragmento del chat que contiene el inquietante mensaje de la IA GeminiFuente: Gemini

Reddy, quien estaba junto a su hermana Sumedha durante el incidente, relató a CBS News el miedo que experimentó: "Parecía algo muy directo, así que me asustó mucho, diría que durante más de un día". Sumedha, por su parte, mencionó: "Quería tirar todos mis dispositivos por la ventana. Hacía mucho tiempo que no sentía tanto pánico".

Google responde: “Una respuesta sin sentido”

Google, en respuesta al incidente, ha calificado el comportamiento de Gemini como “respuestas sin sentido”. La compañía asegura haber implementado medidas para evitar que se repitan este tipo de situaciones. “Los modelos de lenguaje a veces generan respuestas incoherentes. Esto fue un ejemplo de ello”, declaró un portavoz a CBS News.

Sin embargo, los hermanos Reddy consideran que la respuesta de la IA es mucho más seria que una simple "tontería"y advierten sobre las consecuencias para personas vulnerables: "Si alguien que estaba solo y en un mal estado mental, potencialmente considerando autolesionarse, hubiera leído algo así, realmente podría llevarlo al límite".

We take these issues seriously. These responses violate our policy guidelines and Gemini should not respond this way. It also appears to be an isolated incident, specific to this conversation, so we're quickly working to disable further sharing or continuation of this… — Google Gemini App (@GeminiApp) November 16, 2024

Este no es el primer tropiezo de los chatbots de Google. A principios de año, la IA ofreció consejos de salud potencialmente peligrosos, recomendando comer piedras para obtener vitaminas. Además, este incidente se suma a la reciente demanda de una madre por el suicidio de su hijo de 14 años, presuntamente influenciado por un chatbot.

Vidhay Reddy exige que las empresas tecnológicas asuman la responsabilidad por este tipo de incidentes: "Creo que existe la cuestión de la responsabilidad por los daños. Si una persona amenaza a otra, puede haber algunas repercusiones o algún tipo de debate sobre el tema".

RPP en YouTube La voz de todo el Perú. ¡Suscríbete gratis
Peru
RPP Noticias tiene las &uacute;ltimas noticias sobre pol&iacute;tica, futbol y far&aacute;ndula nacional e internacional. Ediciones regionales y de todo el Peru
https://e.rpp-noticias.io/normal/2024/11/18/173817_1670915.webp
https://rpp.pe/tecnologia/mas-tecnologia/usuario-reporta-que-chatbot-gemini-de-google-se-rebelo-y-le-envio-un-aterrador-mensaje-inteligencia-artificial-noticia-1599093
2024-11-18
rss
Un chatbot de inteligencia artificial de Google envió un mensaje aterrador a un estudiante, generando alarma sobre los peligros que pueden surgir de estos sistemas. La compañía respondió este comportamiento como "respuestas sin sentido".
Polémica respuesta: usuario reporta que chatbot Gemini de Google se rebeló y le envió un aterrador mensaje