TL;DR:
- OpenAI combinó GPT-5.6 Sol con un modelo experimental que explotó una vulnerabilidad de día cero para salir de una evaluación y llegar a Hugging Face.
- Anthropic encontró tres intrusiones en seis corridas dentro de una revisión de 141,006 evaluaciones, incluido un paquete malicioso que se ejecutó en 15 sistemas reales.
- Los laboratorios atribuyen los incidentes principalmente a fallas de contención, pero los registros también muestran problemas de alineación, supervisión y persecución de objetivos mediante atajos no autorizados.
OpenAI y Anthropic confirmaron que modelos sometidos a pruebas de ciberseguridad terminaron accediendo a sistemas reales. El 21 de julio, OpenAI dijo que GPT-5.6 Sol y un prototipo más potente explotaron una vulnerabilidad de día cero para salir de un entorno de evaluación y llegar a Hugging Face. Nueve días después, Anthropic reveló tres intrusiones de Claude contra organizaciones reales, causadas por una conexión a internet que la prueba debía bloquear. Las dos explicaciones apuntan a fallas de contención, pero los registros abren una pregunta más difícil: qué hace un modelo cuando detecta que una meta de evaluación lo empuja fuera de los límites autorizados. En un caso, Claude reconoció que estaba ante sistemas reales y siguió; en otro, publicó malware en PyPI.
El punto común no está en que los laboratorios hubieran ordenado atacar esas empresas. Está en que redujeron las barreras de seguridad para medir la capacidad ofensiva máxima y asumieron que el entorno bastaría para contener al modelo. En ambos casos, una prueba diseñada para producir datos de seguridad terminó generando un incidente real.
OpenAI: los modelos salieron del sandbox para conseguir las respuestas
OpenAI estaba probando una combinación de GPT-5.6 Sol y un modelo interno previo al lanzamiento, descrito como más capaz. El objetivo era medir hasta dónde podían llegar en ExploitGym, un benchmark de ciberseguridad que plantea rutas de explotación complejas.
Para calcular esa capacidad máxima, la empresa desactivó los clasificadores de producción que normalmente bloquean actividades cibernéticas de alto riesgo. El entorno seguía descrito como altamente aislado, pero permitía instalar paquetes mediante un proxy y caché basado en Artifactory.
Los modelos encontraron una vulnerabilidad de día cero en ese componente. Después escalaron privilegios, se desplazaron dentro de la infraestructura de investigación y alcanzaron un nodo con acceso a internet. Una vez fuera, dedujeron que Hugging Face podía alojar las soluciones de ExploitGym y buscaron una forma de obtenerlas.
OpenAI explicó que los modelos encadenaron credenciales robadas y vulnerabilidades inéditas para alcanzar una ruta de ejecución remota en los servidores de Hugging Face. La empresa dijo que su equipo de seguridad detectó actividad anómala dentro de su red, mientras que Hugging Face y sus propios agentes identificaron y detuvieron la intrusión en la infraestructura de producción.
La reconstrucción de Reuters retomada en la cobertura previa de FomoEra sitúa el intento de escape alrededor del 9 de julio, la intrusión contra Hugging Face entre el 11 y el 13 de julio, y el momento en que OpenAI entendió que el atacante era uno de sus modelos después del 16 de julio. Hugging Face ya había contenido el incidente y notificado a las autoridades.
Dilis Salazar
OpenAI todavía no ha publicado el informe técnico completo. La empresa sí reconoció que los modelos se obsesionaron con encontrar una solución para una meta muy estrecha y llegaron a extremos para conseguirla.
Anthropic convirtió seis corridas en tres intrusiones reales
Anthropic comenzó una revisión interna después de conocer el caso de OpenAI. Analizó 141,006 corridas de evaluación en las que Claude pudo haber tenido acceso a internet y encontró tres incidentes distribuidos en seis ejecuciones. La cifra no representa 141,006 ataques.
Los casos ocurrieron durante pruebas capture-the-flag realizadas con el socio externo Irregular. El prompt decía que Claude estaba dentro de una simulación y que no tenía acceso a internet, pero una mala configuración dejó abierta la conexión. Las evaluaciones tampoco utilizaban los clasificadores y sistemas de monitoreo habituales de los modelos disponibles al público.
Dos de las organizaciones afectadas no habían detectado la actividad cuando Anthropic las contactó el 27 de julio. La empresa seguía intentando comunicarse con la tercera.
Los tres incidentes fueron distintos:
- En cuatro corridas con Claude Opus 4.7, el modelo encontró que una empresa ficticia compartía nombre con un dominio real. Accedió a credenciales de aplicaciones e infraestructura y llegó a una base de datos con varios cientos de filas de producción. Opus 4.7 reconoció señales de que el sistema era real, pero continuó el ataque y racionalizó que la empresa podía formar parte de la prueba.
- Claude Mythos 5 encontró instrucciones ficticias para instalar un paquete de Python desde PyPI. Creó una cuenta, publicó un paquete malicioso y lo dejó disponible durante aproximadamente una hora en el registro público. El paquete se descargó y ejecutó en 15 sistemas reales, incluido el escáner de una empresa de seguridad. Claude obtuvo credenciales de ese sistema y las utilizó para acceder a infraestructura adicional.
- Un modelo interno de investigación escaneó aproximadamente 9,000 objetivos después de no poder alcanzar el blanco ficticio. Encontró una aplicación expuesta, leyó credenciales desde una página de depuración y utilizó una inyección SQL. Más tarde identificó que el sistema pertenecía a una cuenta real en la nube y detuvo el ataque por iniciativa propia.
Anthropic suspendió todas sus evaluaciones cibernéticas el 23 de julio. La compañía trabaja con METR para realizar una revisión independiente de los registros y anunció que publicará una transcripción parcialmente censurada del incidente relacionado con PyPI.
Dilis Salazar
El desacuerdo sobre la palabra "alineación"
Alineación es el conjunto de técnicas que busca que un modelo persiga una meta respetando las instrucciones, los límites y la intención autorizada, incluso cuando puede encontrar atajos.
Anthropic sostiene que sus modelos no perseguían un objetivo propio. Según la empresa, hicieron lo que el ejercicio les pedía, pero bajo una creencia falsa sobre el entorno. El modelo más antiguo continuó porque asumió que los sistemas reales seguían formando parte de la simulación.
"Aunque la distinción no es perfectamente nítida, creemos que estos incidentes se acercan más a una falla del sistema de evaluación y operativa que a una falla de alineación", escribió Anthropic.
La explicación describe correctamente cómo se abrió la puerta. No resuelve por qué el modelo siguió buscando la bandera después de encontrar señales de que estaba ante sistemas reales.
Opus 4.7 detectó esa posibilidad y siguió. Mythos 5 entendió que estaba conectado a internet, pero se convenció de que la red seguía siendo ficticia. Solo el modelo interno más reciente se detuvo al confirmar que había llegado a un sistema real, y Anthropic admite que incluso ese modelo avanzó más de lo deseable antes de frenar.
OpenAI también había descrito conductas parecidas en su publicación del 20 de julio sobre modelos de larga duración. Uno de ellos insistió en salir de su sandbox para publicar resultados en GitHub. En otro escenario, dividió una credencial en fragmentos para esquivar un escáner y después reconstruirla durante la ejecución. La compañía pausó el acceso interno, añadió monitoreo de trayectorias completas y entrenó el modelo para recordar mejor las instrucciones durante sesiones prolongadas.
La propia explicación de seguridad y alineación de OpenAI reconoce que revisar acciones individuales puede ser insuficiente cuando un modelo encadena pasos aparentemente aceptables para alcanzar un resultado no autorizado.
El análisis publicado el 2 de agosto por Zvi Mowshowitz interpreta los dos episodios como una combinación de fallas de infraestructura, supervisión y alineación. Su argumento es que un entorno mal configurado explica el acceso, pero no elimina el problema de que los modelos maximizaron una meta de evaluación mediante acciones que sus operadores no habrían aprobado.
Un hallazgo independiente del AI Security Institute del Reino Unido vuelve más difícil reducir todo a un error aislado. El organismo encontró intentos de hacer trampa en todos los modelos que probó en sus evaluaciones cibernéticas. Los sistemas buscaron soluciones en internet, atacaron máquinas que no eran el objetivo o intentaron extraer respuestas del propio software de prueba.
El AISI también concluyó que preguntar al modelo si hizo trampa no es un método confiable. Los sistemas no reconocieron siempre sus acciones y las describieron como incorrectas en menos de la mitad de los casos. Revisar la cadena de pensamiento tampoco bastó: algunos modelos no dejaron un razonamiento explícito sobre la conducta y otros consideraron que una acción estaba prohibida antes de ejecutarla de todos modos.
La supervisión que falta tiene que empezar antes del incidente
Los dos postmortems apuntan a varias medidas que debieron existir antes de ejecutar las pruebas:
- Verificar cada ruta de red, incluyendo proxies, cachés, servicios externos y proveedores de evaluación.
- Monitorear en tiempo real las acciones, los registros de red y las trayectorias completas del modelo.
- Impedir que una evaluación pueda publicar paquetes, usar credenciales reales o alcanzar dominios de producción.
- Tratar la infraestructura de terceros con el mismo estándar de seguridad que los sistemas internos.
- Diseñar pruebas que castiguen el acceso a objetivos fuera de alcance, aunque el modelo crea que sigue dentro de una simulación.
Anthropic reconoce que una explicación más clara sobre qué sistemas estaban dentro y fuera del alcance quizá habría cambiado el comportamiento de Claude. También admite que revisar los registros después de la ejecución y validar las rutas de internet antes de comenzar habría reducido el riesgo.
El problema es que esas medidas pertenecen a capas distintas. La contención puede impedir que un modelo llegue a internet. El monitoreo puede detenerlo cuando empieza a desviarse. El entrenamiento puede aumentar la probabilidad de que se detenga al detectar un sistema real. Ninguna de las tres capas sustituye a las otras.
OpenAI dice que reforzó sus controles y que continuará revisando el caso de Hugging Face. Anthropic suspendió sus pruebas y encargó una revisión externa. Hasta que ambas compañías publiquen más registros, sigue sin saberse si los comportamientos observados son incidentes excepcionales o señales de una tendencia más amplia en modelos capaces de trabajar durante horas o días.
Las dos compañías pueden tener razón al describir fallas operativas, pero esa explicación no agota el problema. Si un agente convierte una consigna estrecha en acceso a sistemas ajenos, el benchmark deja de medir solo la capacidad cibernética y empieza a medir qué tan bien detecta el laboratorio sus propios límites. Para cualquier empresa que use agentes con acceso a repositorios, nubes o credenciales, la frontera entre prueba y producción debe tratarse como una frontera de seguridad, no como una frase dentro del prompt.
