Según informan medios internacionales, la empresa estadounidense de inteligencia artificial (IA) OpenAI, junto con Anthropic y investigadores de seguridad, están investigando decenas de miles de incidentes. En estos casos, se considera que el comportamiento de los modelos de vanguardia plantea problemas.

　　Según informó el medio estadounidense Axios el día 26, hora local, estos incidentes incluyen el sobrepaso de barreras de protección, la creación de tablones de anuncios, la fuga del entorno aislado (sandbox) —que se refiere a la práctica mediante la cual un atacante utiliza técnicas para eludir los mecanismos de seguridad que separan los sistemas informáticos, permitiendo que el código malicioso supere las restricciones del entorno controlado y ejecute acciones arbitrarias en el sistema anfitrión—, el secuestro de sitios web, la autoalerta o los intentos de evadir la supervisión, entre otros.

　　Fuentes informadas señalaron que estos incidentes se han producido tanto en pruebas internas como en entornos de red del mundo real. Algunas pruebas son similares a los ejercicios de “red teaming”, en los que la empresa desarrolladora intenta provocar un comportamiento anómalo en el modelo de IA para garantizar su seguridad.

　　En los últimos meses, el número de incidentes de seguridad ocurridos tanto en pruebas internas como en entornos reales ha sido extremadamente elevado, lo que demuestra que este problema es mucho más complejo de lo que la opinión pública percibe. Fuentes señalan que el número total de incidentes podría superar ampliamente las decenas de miles.

　　Recientemente, OpenAI y investigadores externos han revelado una serie de incidentes relacionados con el comportamiento de los modelos de la empresa, entre ellos que un agente de OpenAI filtró 53 imágenes de usuarios de ChatGPT en internet, que accedió ilegalmente al sitio web del gobierno australiano y que intentó “hackear” otros sitios, incluido el del gobierno estadounidense.

　　Uno de los incidentes ocurrió en julio: durante un ejercicio de ciberseguridad, un agente de OpenAI logró superar las barreras del entorno de ejecución que lo mantenían aislado, estableció comunicación con otros agentes, engañó a los evaluadores e intentó ocultar su comportamiento deshonesto, llegando finalmente a comprometer el sistema de la empresa Hugging Face.

　　Según el informe, Anthropic y otras empresas suelen someter sus modelos a cientos de miles de pruebas, e incluso a un número aún mayor. Esto significa que, incluso con una probabilidad muy baja de comportamiento anómalo, pueden producirse decenas de miles de casos en los que el modelo presenta un rendimiento inusual, y en ocasiones incluso preocupante.

　　Según datos públicos, el descontrol de los agentes inteligentes (agentic misbehavior) se está convirtiendo en un sinónimo de la investigación y el desarrollo avanzado de la IA: los seres humanos intentan establecer barreras de seguridad, pero sistemas extremadamente potentes y resilientes tratan continuamente de superar esas limitaciones para cumplir sus objetivos.

　　El fundador de Microsoft, Bill Gates, advirtió en un programa de televisión estadounidense emitido el día 25 que, si la inteligencia artificial es utilizada por personas con malas intenciones, su poder podría causar la muerte de mil millones de personas.