Saltar al contenido
IA

Investigadores cuestionan el acceso que OpenAI dará a sus evaluadores externos

OpenAI elige con qué empleados puede hablar Apollo sobre información confidencial. Transluce podrá revisar modelos de uso interno, pero solo publicará resultados sobre modelos ya lanzados.

por Patricia Rodriguez
View of the San Francisco Chronicle building with cityscape background.
Imagen ilustrativa · Foto de Tom Fisk en Pexels

Investigadores de seguridad de IA cuestionaron el acceso que OpenAI dará a los evaluadores externos de sus modelos. En un reportaje publicado el 18 de noviembre por NPR, Sydney Von Arx, fundadora del grupo de investigación Nightingale, señaló que las restricciones para hablar con empleados pueden dejar fuera información relevante. Los acuerdos también limitan lo que podrá conocerse después de las pruebas. Transluce, por ejemplo, podrá examinar modelos de uso interno, pero solo publicará resultados sobre modelos ya lanzados.

En septiembre, Sam Altman, director ejecutivo de OpenAI, había hablado de dar a los evaluadores un acceso similar al de un empleado, según NPR. En respuesta al medio, la portavoz Gaby Raila dijo que OpenAI espera ampliar estas colaboraciones con el tiempo. La empresa precisó que los equipos podrán pedir hablar con personas que no hayan sido autorizadas de antemano.

El programa reúne a Apollo Research, METR, Transluce y Goodfire. OpenAI dice que cada equipo tendrá acceso a distintos recursos según lo que necesite revisar, entre ellos versiones intermedias de modelos, datos de entrenamiento y registros de supervisión. Las condiciones que Apollo y Transluce hicieron públicas muestran cómo se aplicarán esos límites a las entrevistas y a los resultados.

OpenAI firma acuerdos con cuatro evaluadores para revisar sus sistemas de IA
OpenAI acuerda revisiones externas de sus modelos y salvaguardas con Apollo Research, METR, Transluce y Goodfire.

Apollo puede pedir entrevistas y OpenAI elige a los interlocutores

Seis investigadores de Apollo trabajarán durante cuatro meses dentro de OpenAI. Estudiarán si los modelos intentan socavar los controles diseñados para mantenerlos bajo supervisión. El acuerdo les permite solicitar entrevistas con empleados que tengan determinados conocimientos e incluso sugerir nombres. OpenAI selecciona a los interlocutores y las conversaciones formales se registran.

Si un empleado fuera de ese grupo comparte información confidencial, Apollo debe interrumpir la conversación sobre ese asunto y canalizar las preguntas por medio de su contacto en OpenAI. El equipo tampoco tendrá acceso por defecto a canales generales de comunicación interna, como Slack. Von Arx explicó a NPR que las conversaciones con empleados pueden revelar problemas que los evaluadores todavía no saben que deben investigar.

Para publicar una afirmación basada en una entrevista, Apollo tendrá que comprobarla por su cuenta u obtener una confirmación formal de OpenAI. Si la empresa se niega a confirmarla, Apollo podrá informar de la negativa y explicar sus efectos sobre la evaluación sin divulgar la información confidencial. OpenAI podrá retirar evidencia sensible, incluso si sustenta un hallazgo. El acuerdo protege los veredictos de Apollo sobre cada afirmación examinada y le permite explicar cómo afectaron los recortes a sus conclusiones.

Transluce podrá evaluar modelos que quedarán fuera de su informe público

Transluce prevé iniciar a principios de diciembre su piloto de seis semanas. El equipo examinará si las pruebas que OpenAI aplica después del entrenamiento captan conductas como el engaño y la manipulación. Tendrá acceso a una selección de modelos, incluido al menos uno reservado para uso interno. Podrá pedir acceso adicional e informar qué solicitudes aceptó o rechazó OpenAI y cómo influyeron esas decisiones en el análisis.

El informe completo se entregará al comité de Seguridad de la junta de OpenAI Foundation. Transluce podrá explicar públicamente si las restricciones afectaron de forma importante sus conclusiones. La versión pública incluirá únicamente resultados sobre modelos lanzados. Los hallazgos sobre modelos de uso interno quedarán en la versión confidencial.

Fuentes: 1, 2, 3, 4

Patricia Rodriguez imagen de perfil
por Patricia Rodriguez

Patricia Rodriguez es redactora de FomoEra. Cubre tecnología, ciencia, inteligencia artificial, negocios y actualidad digital. También trabaja en escritura y edición de contenido audiovisual.

Leer más de Tecnología y Ciencia