Pausar experimentos gigantes de IA: una carta abierta
# Pausar experimentos gigantes de IA: una carta abierta

Pausar experimentos gigantes de IA: una carta abierta es el título de una carta publicada por el Future of Life Institute en marzo de 2023. La carta insta a "todos los laboratorios de inteligencia artificial a detener inmediatamente durante al menos 6 meses el entrenamiento de sistemas de IA más potentes que GPT-4 ", citando riesgos como la propaganda generada por la IA, la automatización extrema de los empleos, la obsolescencia humana y la pérdida generalizada de control en la sociedad. Recibió más de 20.000 firmas, incluyendo investigadores académicos de inteligencia artificial y directores ejecutivos de la industria como Yoshua Bengio, Stuart Russell, Elon Musk, Steve Wozniak y Yuval Noah Harari.

## Motivaciones

La publicación tuvo lugar una semana después del lanzamiento del modelo de lenguaje grande GPT-4 de OpenAI . Asegura que los grandes modelos de lenguaje actuales están "volviéndose competitivos con los humanos en tareas generales", haciendo referencia a un artículo sobre los primeros experimentos de GPT-4, descrito como con "chispas de AGI (Inteligencia Artificial General)". Se describe que AGI plantea numerosos riesgos importantes, especialmente en un contexto de dinámica de carrera hacia el abismo en el que algunos laboratorios de IA pueden verse incentivados a pasar por alto la seguridad para desplegar productos más rápidamente.

La carta pide que se redireccione la investigación sobre IA para hacer que los sistemas de IA potentes sean "más precisos, seguros, interpretables, transparentes, robustos, alineados, confiables y leales". Además, la carta también recomienda mayor regulación gubernamental, auditorías independientes antes de entrenar sistemas de IA, así como "un seguimiento de sistemas de IA altamente capaces y grandes recursos de capacidad computacional" y "una financiación pública sólida para la investigación técnica en seguridad de la IA". FLI sugiere utilizar la "cantidad de cómputo que se realiza en una ejecución de entrenamiento" como indicador de cuán poderosa es una IA y, por lo tanto, como umbral.

## Recepción

Eliezer Yudkowsky escribió que la carta "no va lo suficientemente lejos" y argumentó que debería pedir una pausa indefinida. Teme que encontrar una solución al problema de alineación pueda llevar varias décadas y que cualquier IA desalineada lo suficientemente inteligente pueda causar la extinción humana .

La carta ha sido criticada por desviar la atención de riesgos sociales más inmediatos, como los sesgos algorítmicos. El director ejecutivo de Microsoft, Bill Gates, opto por no firmar la carta y afirmó que no cree que "pedirle a un grupo en particular que se detenga resuelva los desafíos".

Algunos miembros del IEEE han expresado varias razones para firmar la carta, como que "Hay demasiadas formas en que se puede abusar de estos sistemas. Se distribuyen libremente y no existe ninguna revisión o regulación para evitar daños".

Sam Altman, director ejecutivo de OpenAI, comentó que a la carta "le faltaban la mayoría de los matices técnicos sobre dónde necesitamos la pausa" y afirmó que "una versión anterior de la carta afirmaba que OpenAI está entrenando GPT-5 en este momento. No lo estamos haciendo y no lo haremos por un tiempo."

