Seguridad de la inteligencia artificial
# Seguridad de la inteligencia artificial

La seguridad de la inteligencia artificial es un campo multidisciplinario que se ocupa de prevenir accidentes, usos indebidos u otras consecuencias perjudiciales que podrían derivarse del uso de sistemas de inteligencia artificial (IA). Abarca la ética de las máquinas y la alineación de la IA, cuyo objetivo es hacer que los sistemas de IA sean morales y útiles, y la seguridad de la IA comprende problemas técnicos como la supervisión de los sistemas para detectar riesgos y hacer que sean altamente confiables. Pero más allá de la investigación sobre IA, se trata de desarrollar normas y políticas que fomenten la seguridad.

## Motivos

Los investigadores de la IA tienen opiniones muy diferentes en cuanto a la severidad y a las principales fuentes de riesgo que plantea la tecnología de IA, aunque algunas encuestas sugieren que los expertos sí se toman en serio los riesgos con consecuencias considerables. En dos encuestas realizadas a investigadores de la IA, la media de los encuestados se mostraba optimista sobre la IA en general, pero otorgaba un 5% de probabilidad a un resultado "extremadamente malo (por ejemplo, la extinción humana)" derivado de la IA avanzada.

En una encuesta realizada en 2022 entre la comunidad del procesamiento de lenguaje natural (PLN), el 37% estuvo de acuerdo o casi de acuerdo con que es plausible que las decisiones de la IA podrían provocar una catástrofe " tanto o más devastadora que una auténtica guerra nuclear". En este momento, los expertos debaten los actuales riesgos derivados de los fallos de los sistemas críticos, la parcialidad y la vigilancia mediante IA; los riesgos emergentes derivados del desempleo tecnológico, la manipulación digital y el armamentismo; y los riesgos especulativos derivados de la pérdida de control sobre futuros agentes de inteligencia artificial general (IAG).

Hay quien ha criticado las dudas que despierta la IAG, por ejemplo Andrew Ng, profesor adjunto de la Universidad de Stanford, quien comparó estas inquietudes con "preocuparse por la superpoblación de Marte cuando ni siquiera hemos puesto un pie en ese planeta". Otros, como Stuart J. Russell, profesor de la Universidad de California en Berkeley, instan a la cautela, alegando que "es mejor anticiparse al ingenio humano que subestimarlo".

## Antecedentes

Los riesgos de la IA empezaron a ser discutidos en profundidad al inicio de la era informática:

   Asimismo, si avanzamos hacia la creación de máquinas que aprendan y cuyo comportamiento pueda modificarse con la experiencia, tendremos que afrontar que todo grado de independencia que le demos a una máquina será también un grado de posible rebeldía contra nuestros deseos.
   —Norbert Wiener (1949)

Entre 2008 y 2009, la AAAI (American Association for Artificial Intelligence en inglés) solicitó un estudio para explorar y abordar las posibles influencias sociales a largo plazo de la investigación y el desarrollo de la IA. El panel se mostró bastante escéptico ante los argumentos radicales expresados por los autores de ciencia ficción, pero coincidió en que "sería valiosa una investigación adicional sobre los métodos para comprender y verificar el espectro de comportamientos de los sistemas computacionales complejos con el fin de minimizar los resultados inesperados".

En 2011, Roman Yampolskiy introdujo el término "ingeniería de seguridad de IA" durante la conferencia Filosofía y Teoría de la Inteligencia Artificial, enumerando fallos previos de sistemas de IA y alegando que "la frecuencia y gravedad de tales acontecimientos aumentará progresivamente a medida que las IA sean más competentes".

En 2014, el filósofo Nick Bostrom publicó el libro Superinteligencia: caminos, peligros, estrategias. Su alegato de que los sistemas avanzados del futuro podrían suponer una amenaza para la existencia humana impulsó a Elon Musk, Bill Gates y Stephen Hawking a expresar inquietudes similares.

En 2015, decenas de expertos en inteligencia artificial firmaron una carta abierta sobre este tema en la que pedían que se investigaran las repercusiones sociales de la IA y que se definieran orientaciones concretas. La carta ha sido firmada por más de 8.000 personas hasta la fecha, incluidos Yann LeCun, Shane Legg, Yoshua Bengio y Stuart Russell.

Ese mismo año, un grupo de académicos encabezados por el profesor Stuart Russell fundó el Centro de Inteligencia Artificial Humano-Compatible en la Universidad de Berkeley y el Instituto para el Futuro de la Vida concedió 6,5 millones de dólares en subvenciones para investigaciones destinadas a "garantizar que la inteligencia artificial (IA) siga siendo segura, ética y beneficiosa".

En 2016, la Oficina de Políticas Científicas y Tecnológicas de la Casa Blanca y la Universidad Carnegie Mellon anunciaron el Taller Público sobre la Seguridad y el Control de la Inteligencia Artificial, que formaba parte de una serie de cuatro talleres organizados por la Casa Blanca con el objetivo de investigar "las ventajas y desventajas" de la IA. Ese mismo año se publicó Problemas Concretos de Seguridad en la IA, una de las primeras y más influyentes agendas técnicas en materia de seguridad en la IA.

En 2017, el Instituto para el Futuro de la Vida patrocinó la Conferencia Asilomar sobre la IA Beneficiosa, en la que más de 100 líderes de opinión formularon una serie de principios para lograr una IA beneficiosa, entre ellos "Evitar la competencia": Los equipos desarrolladores de sistemas de IA deben cooperar activamente para evitar la reducción de los estándares de seguridad.

En 2018, el equipo de DeepMind Safety planteó diversos problemas de seguridad de la IA en materia de especificación, solidez y fiabilidad. El año siguiente, varios investigadores organizaron un taller en el ICLR (International Conference on Learning Representations en inglés) centrado en estas áreas problemáticas.

En 2021 se publicó Unsolved Problems in ML Safety, en el que se esbozan las líneas de investigación en materia de solidez, supervisión, alineación y seguridad sistémica.

En 2023, Rishi Sunak dijo que quiere que el Reino Unido sea el "hogar geográfico de la regulación mundial de la seguridad de la IA" y que sea la sede de la primera cumbre mundial sobre seguridad de la IA.

## Áreas de investigación

Las áreas de investigación en seguridad de la IA incluyen la solidez, la supervisión y la alineación. La solidez busca lograr que los sistemas sean altamente confiables, la supervisión trata de anticipar fallos y de detectar usos indebidos, y la alineación se centra en garantizar que persigan objetivos beneficiosos.

### Solidez

El estudio de la solidez se centra en garantizar que los sistemas de IA se comporten según lo previsto en una amplia gama de situaciones diferentes, lo que incluye los siguientes problemas secundarios:

* Solidez ante cisnes negros: crear sistemas que se comporten como está previsto en situaciones inusuales.
* Solidez antagónica: diseñar sistemas para que sean resistentes a entradas de datos escogidas intencionalmente para hacerlos fallar.

**Solidez ante cisnes negros**

Las entradas de datos inusuales pueden hacer que los sistemas de IA fallen de forma catastrófica. Por ejemplo, en el "Flash Crash" de 2010, los sistemas automatizados de negociación (trading en inglés) reaccionaron de forma inesperada y excesiva a las aberraciones de mercado, destruyendo un billón de dólares en valores bursátiles en cuestión de minutos.

Nótese que no es necesario que se produzca un cambio de distribución para que esto ocurra. Los fallos de tipo cisne negro pueden producirse cuando los datos de entrada son de larga cola, como suele ocurrir en situaciones de la vida real. Los vehículos autónomos siguen teniendo problemas con "casos poco habituales" (corner cases en inglés) que pueden no haber surgido durante el periodo de formación; por ejemplo, un vehículo podría ignorar una señal de alto que esté encendida como una rejilla de LED.

A pesar de que este tipo de problemas pueden resolverse a medida que los sistemas de aprendizaje automático (AA) desarrollen una mejor comprensión del mundo real, algunos investigadores señalan que incluso los humanos no suelen responder adecuadamente a sucesos sin precedentes (como la pandemia de COVID-19), argumentando que la solidez ante cisnes negros será un problema de seguridad persistente.

**Solidez antagónica**

Los sistemas de IA suelen ser vulnerables a muestras antagónicas o "entradas de datos a modelos de aprendizaje automático que un atacante ha diseñado intencionadamente para que el modelo cometa un error". Por ejemplo, en 2013, Szegedy y colaboradores descubrieron que añadir determinadas distorsiones imperceptibles a una imagen podía hacer que esta fuera clasificada erróneamente y con un elevado nivel de confianza. Esto sigue siendo un problema para las redes neuronales, aunque en estudios recientes las distorsiones suelen ser lo suficientemente grandes como para resultar perceptibles.

Todas las imágenes de la derecha fueron clasificadas como avestruces tras la aplicación de una distorsión. (Izquierda) una muestra clasificada correctamente, (centro) distorsión aplicada ampliada 10 veces, (derecha) muestra antagónica.

La solidez antagónica se asocia a menudo con la seguridad. Varios investigadores demostraron que una señal de audio podía modificarse de forma imperceptible para que los sistemas de conversión de voz a texto la transcribieran a cualquier mensaje que el atacante eligiera. Los sistemas de detección de intrusiones en la red y de software malicioso (malware en inglés) también deben presentar solidez antagónica, ya que los atacantes podrían diseñar ataques capaces de engañar dichos detectores.

Los modelos que representan objetivos (modelos de recompensa) también deben poseer solidez antagónica. Por ejemplo, un modelo de recompensa puede estimar la utilidad de una respuesta textual y un modelo de lenguaje puede entrenarse para maximizar este resultado. Diversos investigadores han demostrado que si un modelo de lenguaje es entrenado durante el tiempo suficiente, éste aprovechará las vulnerabilidades del modelo de recompensa para lograr un mejor resultado incluso al desempeñarse peor en la tarea prevista. Este problema puede resolverse mejorando la solidez antagónica del modelo de recompensa. En términos más generales, cualquier sistema de IA utilizado para evaluar otro sistema de IA debe tener una solidez antagónica. Esto podría incluir a los sistemas de supervisión, ya que éstos también son susceptibles de ser manipulados para obtener una recompensa mayor.

### Supervisión

La supervisión se centra en anticipar los fallos de los sistemas de IA para poder prevenirlos o gestionarlos. Entre los problemas secundarios de la supervisión se encuentran la detección de sistemas poco confiables, la detección de usos malintencionados, la comprensión del funcionamiento interno de los sistemas de IA de caja negra y la identificación de funciones ocultas creadas por un agente malintencionado.

**Estimación de la incertidumbre**

Muchas veces es importante que los operadores humanos evalúen hasta qué punto deben confiar en un sistema de IA, especialmente en entornos de alto riesgo como el diagnóstico médico. Por lo general, los modelos AA transmiten confianza al generar probabilidades; sin embargo, a menudo se muestran demasiado confiados, sobre todo en situaciones que difieren de aquellas para las que fueron entrenados. El objetivo de la investigación en materia de calibración es conseguir que las probabilidades del modelo se correspondan lo más posible con la proporcionalidad real de que el modelo esté en lo correcto.

Del mismo modo, la detección de anomalías o detección fuera de distribución (out-of-distribution o OOD en inglés) pretende identificar cuándo un sistema de IA se encuentra en una situación inusual. Por ejemplo, si el sensor de un vehículo autónomo funciona mal o se encuentra con un terreno difícil, debe alertar al conductor para que tome el control o se detenga. La detección de anomalías suele implementarse mediante el simple entrenamiento de un clasificador para distinguir las entradas anómalas de las que no lo son, aunque también se utilizan otras técnicas.

**Detección de usos malintencionados**

Académicos y organismos públicos han expresado su preocupación ante la posibilidad de que los sistemas de IA sean utilizados para ayudar a agentes malintencionados a fabricar armas, manipular la opinión pública o automatizar ciberataques. Estas inquietudes son una preocupación práctica para empresas como OpenAI, que alojan potentes herramientas de IA en línea. Para evitar usos indebidos, OpenAI ha creado sistemas de detección que señalizan o restringen a los usuarios en función de su actividad.

**Transparencia**

Las redes neuronales a menudo son descritas como cajas negras, lo que significa que es difícil entender por qué toman las decisiones que toman como resultado del enorme número de procesos computacionales que realizan. Esto supone un reto para adelantarse a los fallos. En 2018, un vehículo autónomo mató a un peatón tras fallar en identificarlo. Debido a la naturaleza de caja negra del software de IA, la razón del fallo sigue siendo incierta.

Una de las ventajas de la transparencia es la explicabilidad. A veces es un requisito legal dar una explicación de por qué se ha tomado una decisión para garantizar la imparcialidad, por ejemplo para el filtrado automático de solicitudes de empleo o la asignación de puntuaciones crediticias.

Otra ventaja es revelar la causa de los fallos. Al principio de la pandemia COVID-19 de 2020, diversos investigadores utilizaron herramientas de transparencia para demostrar que los clasificadores de imágenes médicas "prestaban atención" a etiquetas hospitalarias irrelevantes.

Las técnicas de transparencia también pueden utilizarse para corregir errores. Por ejemplo, en el artículo "Locating and Editing Factual Associations in GPT" (Localización y Edición de Asociaciones Factuales en GPT), los autores pudieron identificar los parámetros del modelo que influían en su forma de responder a las preguntas sobre la ubicación de la torre Eiffel. A continuación, pudieron "editar" estos conocimientos para que el modelo respondiera a las preguntas como si creyera que la torre estaba en Roma en lugar de en Francia. Aunque en este caso los autores indujeron un error, estos métodos podrían utilizarse para su corrección eficaz. También existen técnicas de edición de modelos en visión artificial.

Por último, hay quien sostiene que la falta de transparencia de los sistemas de IA es una importante fuente de riesgo y que una mejor comprensión de su funcionamiento podría evitar fallos con graves consecuencias en el futuro. La investigación sobre interpretabilidad "interna" tiene como objetivo lograr modelos de AA más transparentes. Una de las metas de esta investigación es identificar el significado de las activaciones neuronales internas. Por ejemplo, algunos investigadores identificaron una neurona en CLIP que responde a imágenes de personas disfrazadas de Spiderman, a dibujos de Spiderman y a la palabra "araña". También implica explicar las conexiones entre estas neuronas o "circuitos".

En este sentido, diversos investigadores han identificado mecanismos de concordancia de patrones en atención de transformadores que podrían desempeñar un papel en la forma en que los modelos de lenguaje aprenden de su contexto. La "interpretabilidad interna" ha sido comparada con la neurociencia. En ambos casos, el objetivo es comprender lo que ocurre en un sistema intrincado, aunque los investigadores del AA tienen la ventaja de poder realizar mediciones perfectas y ablaciones arbitrarias.

**Detección de troyanos**

Los modelos de AA pueden contener "troyanos" o "puertas traseras", es decir, vulnerabilidades que los agentes malintencionados integran en un sistema de IA. Por ejemplo, un sistema de reconocimiento facial troyanizado podría conceder acceso cuando una pieza específica de joyería esté a la vista; o un vehículo autónomo troyanizado podría funcionar normalmente hasta que un activador específico se haga visible.

Cabe señalar que un atacante debe tener acceso a los datos de entrenamiento del sistema para poder introducir un troyano. Puede que esto no sea difícil de lograr con modelos de gran tamaño como CLIP o GPT-3, ya que han sido entrenados a partir de datos disponibles públicamente en internet. Un grupo de investigadores consiguió introducir un troyano en un clasificador de imágenes cambiando sólo 3 de los 3 millones de imágenes de entrenamiento. Además de suponer un riesgo para la seguridad, hay investigadores que sostienen que los troyanos ofrecen un escenario concreto para probar y desarrollar mejores herramientas de control.

### Alineación

En el campo de la inteligencia artificial, la investigación sobre la alineación o el alineamiento (en inglés, AI alignment) se ocupa de buscar formas de dirigir el desarrollo de los sistemas de inteligencia artificial en conformidad con los objetivos e intereses de sus diseñadores.Si un sistema es competente, pero persigue objetivos que no han sido previstos por los investigadores, se dice que no está alineado.

La alineación de los sistemas de inteligencia artificial incluye los siguientes problemas: la dificultad de especificar completamente todos los comportamientos deseados y no deseados; el uso de objetivos intermedios fáciles de especificar que omiten restricciones deseables; trampas para obtener recompensas, por medio de las cuales los sistemas encuentran lagunas en dichos objetivos intermedios, creando efectos colaterales; objetivos instrumentales, como la búsqueda de poder, que ayudan al sistema a lograr sus objetivos finales; y objetivos emergentes que sólo se hacen patentes cuando el sistema se implementa en nuevas situaciones y distribuciones de datos. Estos problemas afectan a sistemas comerciales como robots, modelos de lenguaje, vehículos autónomos, y sistemas de recomendación de redes sociales. Se cree que los problemas son tanto más probables cuanto más capaz es el sistema, ya que en parte resultan de una alta capacidad.

La comunidad de investigadores de la inteligencia artificial y las Naciones Unidas han exigido tanto soluciones basadas en la investigación técnica como soluciones políticas para garantizar que los sistemas estén alineados con los valores humanos.

### Seguridad sistémica y factores socio-técnicos

Es habitual que los riesgos de la IA (y los riesgos tecnológicos en general) sean clasificados como uso indebido o accidentes. Algunos especialistas han sugerido que este planteamiento se queda corto. Por ejemplo, la crisis de los misiles de Cuba claramente no fue un accidente o un mal uso de la tecnología. Los analistas políticos Zwetsloot y Dafoe escribieron:

   "Las perspectivas de usos indebidos y de accidentes tienden a centrarse únicamente en el último paso de la cadena causal que desemboca en un daño: es decir, la persona que hace uso indebido de la tecnología, o el sistema que se comporta de forma inesperada... Sin embargo, a menudo la cadena causal correspondiente es mucho más larga".

Los factores de riesgo suelen ser de carácter "estructural" o "sistémico", como la presión de la competencia, la difusión de los daños, el desarrollo acelerado, los altos niveles de incertidumbre y una inadecuada cultura de seguridad. En un contexto más amplio de ingeniería de seguridad, factores estructurales como la "cultura de seguridad organizativa" desempeñan un papel central en el popular marco de análisis de riesgos STAMP.

Inspirándose en la perspectiva estructural, algunos investigadores han destacado la importancia de utilizar el aprendizaje automático para mejorar los factores de seguridad socio-técnica, por ejemplo, utilizando el AA para la defensa cibernética (ciberdefensa; o cyber defense en inglés), mejorando la toma de decisiones institucionales y facilitando la cooperación.

**Ciberdefensa**

A algunos especialistas les preocupa que la IA pueda exacerbar el ya de por sí desequilibrado panorama entre ciberatacantes y ciberdefensores. Esto aumentaría los incentivos para un "primer ataque" y podría conducir a ataques más agresivos y desestabilizadores. Para reducir este riesgo, algunos recomiendan hacer más hincapié en la ciberdefensa. Asimismo, la seguridad de los programas informáticos es esencial para evitar el robo y el uso indebido de los potentes modelos de IA.

**Mejorar la toma de decisiones institucional**

El avance de la IA en ámbitos económicos y militares podría desencadenar desafíos políticos sin precedentes. Algunos expertos han comparado el desarrollo de la inteligencia artificial con la Guerra Fría, en la que la toma de decisiones por parte de un reducido número de personas a menudo marcaba la diferencia entre la estabilidad y la catástrofe. Investigadores del campo de la IA han sostenido que las tecnologías de IA también podrían utilizarse para ayudar en la toma de decisiones. Por ejemplo, se están empezando a desarrollar sistemas de previsión y asesoramiento basados en IA.

**Facilitar la cooperación**

Muchas de las principales amenazas mundiales (guerra nuclear, cambio climático, etc.) han sido enmarcadas como problemas de cooperación. Como ocurre en el conocido dilema del prisionero, algunas dinámicas pueden conducir a malos resultados para todos los participantes, incluso cuando éstos actúan en su propio beneficio. Por ejemplo, ningún agente posee incentivos sólidos para hacer frente al cambio climático, a pesar de que las consecuencias pueden ser graves si nadie interviene.

Uno de los principales retos de la cooperación en materia de IA es evitar una "carrera hacia el abismo". En este contexto, los países o las empresas competirían por construir sistemas de inteligencia artificial más capaces y descuidarían la seguridad, lo que provocaría un accidente catastrófico que perjudicaría a todos los implicados. La inquietud ante este tipo de situaciones ha motivado esfuerzos políticos y técnicos para facilitar la cooperación entre seres humanos y, potencialmente, entre sistemas de IA. La mayor parte de la investigación en materia de IA se centra en el diseño de agentes individuales que cumplan funciones aisladas (a menudo en "juegos de un solo jugador"). Varios expertos han sugerido que, a medida que los sistemas de IA se vuelvan más autónomos, puede resultar esencial estudiar y moldear la forma en la que interactúan.

## En materia de gobernanza

En general, la gobernanza de la IA se ocupa de crear normas, estándares y reglamentos que guíen el uso y el desarrollo de los sistemas de inteligencia artificial. Implica formular y aplicar recomendaciones concretas, así como llevar a cabo una investigación más fundacional para informar sobre cuáles deben ser estas recomendaciones. Esta sección se centra en los aspectos de la gobernanza de la IA específicamente relacionados con garantizar que los sistemas de IA sean seguros y beneficiosos.

### Investigación

El estudio de la gobernanza de la seguridad de la IA abarca desde investigaciones fundacionales sobre las posibles repercusiones de la IA hasta su aplicación concreta. Desde el punto de vista fundacional, diversos investigadores han sostenido que la IA podría transformar muchos aspectos de la sociedad debido a su amplia aplicabilidad, comparándola con la electricidad y la locomotora de vapor. Parte del trabajo se ha centrado en anticipar los riesgos específicos que pueden derivarse de estos impactos, tales como el desempleo masivo, el armamentismo, la desinformación, la vigilancia y la concentración de poder.

Otras investigaciones analizan los factores de riesgo subyacentes, como la dificultad de supervisar la rápida evolución de la industria de la IA, la disponibilidad de modelos de IA y el fenómeno de la "carrera hacia el abismo". Allan Dafoe, responsable de gobernanza y estrategia a largo plazo de DeepMind, ha hecho hincapié en los peligros de la carrera y en la posible necesidad de cooperación:

   "...puede ser casi una condición necesaria y suficiente para la seguridad y la alineación de la IA que haya un alto grado de precaución antes de desplegar poderosos sistemas avanzados; sin embargo, si los agentes están compitiendo en un dominio con grandes beneficios para los pioneros o con ventaja relativa, entonces se verán presionados a elegir un nivel de precaución por debajo del óptimo."

### Acción gubernamental

Hay quienes sostienen que es demasiado pronto para regular la IA, pues temen que la normativa obstaculice la innovación y consideran insensato "apresurarse a regular desde la ignorancia". Otros, como el magnate de los negocios Elon Musk, abogan por una acción preventiva para mitigar riesgos catastróficos. Hasta ahora apenas se han aprobado normas de seguridad en materia de IA a nivel nacional, pese a que se han presentado muchos proyectos de ley. Un ejemplo destacado es la Ley de Inteligencia Artificial de la Unión Europea, la cual regula ciertas aplicaciones de "alto riesgo" de la IA y restringe usos potencialmente dañinos como el reconocimiento facial, la manipulación subliminal y el puntaje crediticio social.

Al margen de la legislación formal, las agencias gubernamentales han propuesto recomendaciones éticas y de seguridad. En marzo de 2021, la Comisión Nacional de Seguridad de EE.UU. sobre Inteligencia Artificial informó que los avances en materia de IA podrían hacer que fuese cada vez más importante "garantizar que los sistemas estén alineados con metas y valores, como la seguridad, la solidez y la fiabilidad." Posteriormente, el Instituto Nacional de Estándares y Tecnología elaboró un marco para la gestión de riesgos de la IA, que aconseja que cuando "existan riesgos de carácter catastrófico, el desarrollo y el despliegue deben cesar de forma segura hasta que los riesgos puedan gestionarse adecuadamente".

En septiembre de 2021, la República Popular China publicó una serie de directrices éticas para el uso de la IA en China, haciendo hincapié en que las decisiones relativas a la IA deben permanecer bajo control humano y exigiendo mecanismos de rendición de cuentas. Ese mismo mes, el Reino Unido publicó su Estrategia Nacional de IA a 10 años, que afirma que el gobierno británico "se toma en serio el riesgo a largo plazo de la Inteligencia Artificial General no alineada, y los cambios imprevisibles que supondría para el mundo." La estrategia describe medidas para evaluar los riesgos a largo plazo relacionados con la IA, incluidos los de carácter catastrófico.

Organizaciones gubernamentales, sobre todo en Estados Unidos, también han fomentado el desarrollo de investigaciones técnicas en materia de seguridad de la IA. La agencia de Actividad de Proyectos de Investigación Avanzados de Inteligencia (Intelligence Advanced Research Projects Activity o IARPA en inglés) inició el proyecto TrojAI para identificar y proteger a los sistemas de IA contra ataques troyanos. La Agencia de Proyectos de Investigación Avanzados de Defensa (Defense Advanced Research Projects Agency o DARPA en inglés) investiga sobre inteligencia artificial explicable y cómo mejorar la solidez frente a ataques antagónicos, y la Fundación Nacional de Ciencias (National Science Foundation o NSF en inglés) apoya al Centro para el Aprendizaje Automático Confiable y destina millones a financiar investigaciones empíricas en materia de seguridad de la IA.

### Autorregulación empresarial

Los laboratorios y las empresas de IA suelen regirse por prácticas y normas de seguridad que escapan a la legislación oficial. Uno de los objetivos de los investigadores en materia de gobernanza es dar forma a estas normas. Algunos ejemplos de recomendaciones de seguridad que figuran en publicaciones relevantes incluyen la auditoría por parte de terceros, ofrecer recompensas por detectar fallos, compartir incidentes relacionados con la IA (para ello se creó una base de datos de este tipo), seguir directrices para determinar si es conveniente publicar investigaciones o modelos, y mejorar la información y la ciberseguridad en los laboratorios de IA.

Las empresas también han asumido compromisos concretos. Cohere, OpenAI y AI21 propusieron y acordaron "mejores prácticas para desplegar modelos de lenguaje", centradas en reducir usos indebidos. Para evitar contribuir a la dinámica competitiva, OpenAI también declaró en sus estatutos que:

   "...si un proyecto alineado con valores y con conciencia de seguridad se acercase a la creación de una IAG antes que nosotros, nos comprometemos a dejar de competir con ese proyecto y a empezar a ayudarle."

Asimismo, líderes de la industria como el CEO de DeepMind, Demis Hassabis, y el director de Facebook AI, Yann LeCun, han firmado cartas abiertas como los Principios Asilomar y la Carta Abierta sobre Armas Autónomas.

