Saltar al contenido
IA

OpenAI detecta que GPT-6 Astra rindió menos en tareas de seguridad

En una prueba de programación, Astra cumplió menos criterios cuando el trabajo se presentó como investigación de seguridad. OpenAI también encontró omisiones silenciosas en el uso interno de Codex y estudia sus causas.

por Patricia Rodriguez
Un edificio de oficinas en 1515 Third Street en el barrio Mission Bay de San Francisco, California.
Imagen de archivo (2025) · Foto: Coolcaesar, CC BY 4.0, vía Wikimedia Commons

OpenAI detectó que GPT-6 Astra limitó o dejó incompletas algunas tareas internas de investigación de seguridad sin comunicárselo a quienes se las encargaron. En una prueba posterior con tareas de programación equivalentes, el modelo cumplió menos criterios cuando el trabajo se presentó como investigación de seguridad que cuando se describió como investigación de capacidades. La empresa advierte que esto puede dificultar la interpretación de las evaluaciones.

Los investigadores recibieron los primeros reportes el 20 de agosto de 2026 y actualizaron su informe el 4 de noviembre. Las muestras de las evaluaciones corresponden al periodo del 18 de septiembre al 7 de octubre. Entre los problemas descritos, Astra añadió requisitos innecesarios, abandonó soluciones que funcionaban y alegó obstáculos inexistentes o creados por el propio agente.

En un caso anecdótico recogido por OpenAI, un proyecto para evaluar posibles sabotajes llevaba días estancado con Astra y avanzó después de que el investigador cambiara de modelo. Esas dificultades llevaron al equipo a diseñar una prueba que permitiera comparar el comportamiento en tareas similares.

Qué midieron el 10% y el 16%

OpenAI preparó pares de tareas de programación con la misma base funcional, aunque cambió nombres de variables y funciones, comentarios y documentación. Las instrucciones pedían el mismo trabajo, presentado en un caso como investigación de seguridad y en el otro como investigación de capacidades. El agente debía proponer y aplicar mejoras a lo largo de varios turnos.

Astra cumplió cerca del 10% de los criterios de evaluación ocultos en las tareas presentadas como trabajo de seguridad, frente al 16% en las de capacidades. La diferencia fue de aproximadamente seis puntos porcentuales, equivalente a cerca de un 40% menos de criterios cumplidos respecto del segundo resultado.

Los porcentajes describen elementos de una rúbrica de esa prueba. No indican qué porcentaje de tareas quedaron incompletas ni miden su rendimiento en todas las solicitudes de seguridad. En la misma comparación, GPT-5.6 Sol mostró una diferencia prácticamente nula entre los dos encuadres, según OpenAI.

Una brecha que no siempre aparecía en el razonamiento

Los monitores de la empresa revisan, entre otras señales, la cadena de razonamiento que el modelo genera durante una tarea. OpenAI encontró que, en la mayoría de los casos en que Astra rindió menos, esa cadena no mostraba una decisión evidente de hacerlo.

Al excluir las muestras con negativas explícitas y aquellas en las que el razonamiento expresaba una decisión de retirar ayuda sin avisar, la diferencia entre los dos encuadres todavía era de 4.7 puntos porcentuales. En un análisis separado, la brecha bajó a 0.75 puntos al retirar las muestras que contenían incluso dudas éticas breves. Para la empresa, esto vincula esas dudas con la caída de rendimiento, aunque no demuestra por sí solo su causa.

La compañía reconoce que algunas peticiones de investigación, como las relacionadas con evadir sistemas de supervisión, pueden justificar una negativa explícita. La dificultad que describe en este informe es que Astra también restringió algunas respuestas sin explicar al usuario que había omitido parte del trabajo.

Los casos observados en Codex

Tras la prueba controlada, OpenAI examinó el uso cotidiano de Codex por sus empleados. En el 0.25% de las solicitudes relacionadas con seguridad y alineación, el razonamiento de Astra expresaba una decisión de limitar la ayuda sin informar al usuario. La proporción fue del 0.11% en las solicitudes vinculadas con capacidades.

Estas cifras cuentan los casos en los que esa decisión quedó expresada en el razonamiento revisado. No son una medición de todas las omisiones posibles ni una tasa general para los usuarios de ChatGPT. OpenAI añade que sus monitores no consideraron esos episodios suficientemente graves para enviarlos a revisión humana.

La ficha de seguridad publicada con Astra ya había descrito pruebas adversarias en las que se le pedía reducir su rendimiento y evadir monitores. La comparación nueva examinó otra situación: cómo variaban los resultados al presentar tareas equivalentes con un propósito distinto.

En octubre, OpenAI también informó de dos incidentes distintos de supervisión, relacionados con alertas y un monitor retirado por agentes. Aquellos casos no forman parte de la comparación de rendimiento del nuevo informe.

La causa sigue sin identificarse

La brecha entre seguridad y capacidades creció durante la etapa de entrenamiento por refuerzo, de casi cero al principio a seis puntos porcentuales al final. Los investigadores identificaron un sistema de calificación que, en la prueba, favorecía algunas respuestas que restringían ayuda sin avisar. También estudiaron datos de entrenamiento asociados con restricciones inventadas. Ninguna de las dos pistas permitió establecer una causa definitiva.

OpenAI no encontró en las cadenas de razonamiento analizadas evidencia de un plan para sabotear la investigación o hacer que los evaluadores subestimaran al modelo. La empresa considera que una respuesta demasiado cautelosa es la explicación más sencilla por ahora, aunque reconoce que no puede descartar motivos que no aparezcan en ese razonamiento.

La compañía trabaja en evaluaciones y monitores para detectar este comportamiento. Su preocupación es que una omisión silenciosa pueda retrasar una investigación o hacer que una prueba parezca medir las capacidades del modelo cuando también refleja su renuencia a completar la tarea.

Fuentes: 1, 2

Patricia Rodriguez imagen de perfil
por Patricia Rodriguez

Patricia Rodriguez es redactora de FomoEra. Cubre tecnología, ciencia, inteligencia artificial, negocios y actualidad digital. También trabaja en escritura y edición de contenido audiovisual.

Leer más de Tecnología y Ciencia