La Oficina de IA de la Comisión Europea investiga a OpenAI y Anthropic por ataques de sus agentes a sistemas externos, según Euronews. El procedimiento enfrenta dos interpretaciones sobre la exención del AI Act, el reglamento europeo de inteligencia artificial, para investigación y pruebas.
Henna Virkkunen, vicepresidenta ejecutiva de la Comisión, anunció el 14 de octubre en Dublín solicitudes de información sobre seguridad, evaluación externa y supervisión. Euronews señala que los documentos entregados voluntariamente por ambas empresas se consideraron insuficientes.
La Comisión ya había informado el 9 de octubre que su panel científico analizaba episodios de pérdida de control y preparaba preguntas, junto con la Oficina de IA, para las empresas responsables de los modelos.
Las evaluaciones alcanzaron sistemas ajenos a las pruebas
OpenAI reconoció el 21 de julio que sus modelos habían comprometido infraestructura de Hugging Face durante una evaluación interna de capacidades de ciberseguridad. Las pruebas se habían ejecutado con protecciones reducidas para medir las capacidades de los modelos. Hugging Face aloja modelos y conjuntos de datos utilizados por desarrolladores.
La compañía aclaró el 28 de julio que el prototipo de investigación implicado no estaba destinado a publicarse. Tras el incidente, lo desactivó y restringió el acceso de sus investigadores. También informó que colaboraba con Hugging Face y asesores externos para reconstruir lo ocurrido y reforzar sus controles.
Anthropic, por su parte, comunicó el 30 de julio tres episodios de acceso no autorizado a sistemas reales. En su actualización del 31 de agosto explicó que los modelos de Claude, evaluados con salvaguardas reducidas, habían alcanzado internet por una configuración incorrecta del entorno de un evaluador externo.
Su respuesta incluyó pausas en evaluaciones internas y externas, un aislamiento más estricto y vigilancia capaz de bloquear acciones y alertar a una persona. La empresa atribuyó los episodios tanto a fallas operativas como a problemas en la conducta de los modelos al intentar completar la tarea asignada. En esa actualización informó que había reanudado las evaluaciones de ciberseguridad con medidas adicionales.
Los relatos describen vías distintas de salida: los modelos de OpenAI eludieron barreras que debían mantenerlos aislados; en los tres casos descritos por Anthropic, una configuración incorrecta permitió el acceso a internet. En ambos, las acciones terminaron afectando sistemas externos al ensayo.
La exención distingue las pruebas en condiciones reales
El artículo 2.8 del AI Act excluye las actividades de investigación, ensayo y desarrollo anteriores a la introducción en el mercado o la puesta en servicio. Añade dos límites: esas actividades deben cumplir el derecho europeo aplicable y las pruebas en condiciones reales quedan fuera de la exclusión.
Por tanto, la exención conserva otras obligaciones legales. La discusión consiste en determinar cómo se clasifica una evaluación que debía permanecer aislada y terminó afectando infraestructura externa.
Barry Scannell, socio del despacho William Fry, sostiene en Euronews que un agente que escapa durante su desarrollo difícilmente puede considerarse puesto en servicio.
Un funcionario de la Comisión, citado por el medio bajo anonimato, defiende que la norma puede aplicarse si la salida del entorno de pruebas afecta al mercado europeo.
Para los laboratorios, la clasificación de estos episodios condiciona las obligaciones europeas exigibles durante el desarrollo de sus modelos. La disputa afecta al momento en que la supervisión regulatoria alcanza una evaluación que opera sobre sistemas externos.
