Anthropic canceló una parte de la evaluación independiente de METR que iba a comprobar cómo distribuía su capacidad de cómputo entre el desarrollo de capacidades de inteligencia artificial y la seguridad. La organización indica que el cambio se produjo antes de alcanzar conclusiones sobre ese reparto.
El cambio de alcance figura en el informe que METR publicó el 5 de noviembre. La organización también dijo que Anthropic reservó gran parte de la evidencia que consideraba más informativa para sus conclusiones sobre riesgos, lo que limita la posibilidad de que el público examine esos datos por su cuenta.
Una verificación que quedó fuera
METR explicó que el alcance contratado incluía inicialmente verificar la asignación de cómputo, en particular la división entre capacidades y seguridad. A mitad del proyecto, Anthropic cambió ese alcance para centrarse en la aceleración de la investigación y el desarrollo de IA.
La cancelación ocurrió antes de que METR alcanzara conclusiones sustanciales sobre el uso de cómputo de la empresa. Por ello, el informe no permite determinar qué proporción de esos recursos se destinó a cada propósito.
Según METR, Anthropic explicó que quería concentrar el proyecto en la evaluación de riesgos por el momento y que volvería a considerar más adelante una verificación de la asignación de cómputo.
El acceso concedido sí permitió evaluar otras preguntas. Entre el 12 de agosto y el 29 de octubre, el equipo revisó métricas internas, resultados de pruebas y entrevistas con personal para estudiar el ritmo de mejora de los modelos y la posible contribución de la IA a ese avance.
Este proyecto es distinto al equipo de evaluadores con acceso comparable al de empleados que Anthropic anunció el 15 de octubre. En la revisión de aceleración, METR no tenía acceso directo sin intermediarios a todos los datos y sistemas de la empresa.
METR consideró probable que, en octubre, las capacidades en tareas bien definidas mejoraran a alrededor del doble del ritmo observado entre marzo de 2024 y octubre de 2025. Esa conclusión tiene incertidumbre y no implica que cada modelo sea el doble de capaz.
Patricia Rodriguez
Qué pruebas no llegaron al público
La organización entregó a Anthropic un informe completo de aproximadamente 100 páginas el 22 de octubre. Según la cronología de METR, la compañía compartió instrucciones sobre los recortes el 25 de octubre y las hizo más estrictas entre el 27 y el 29. Ambas partes acordaron una prórroga de unos cinco días para adaptar la versión pública.
El acuerdo daba a Anthropic la facultad de reservar información no pública. METR conservaba el derecho de comunicar que había recortes y si sus conclusiones dependían de información excluida.
Entre los detalles que no pudieron difundirse figuran estimaciones más precisas de la contribución de la IA a distintas etapas del entrenamiento y desgloses sobre el papel del cómputo, los datos y los avances algorítmicos. METR advierte que parte de la evidencia admite varias interpretaciones, por lo que el lector debe depender de su juicio más de lo que la organización considera ideal.
Anthropic dijo a los evaluadores que buscaba proteger información confidencial que podría acelerar a otros desarrolladores de IA. Sam McCandlish, cofundador de la compañía, reconoció que los recortes dificultan comprobar el trabajo de METR y los defendió por razones comerciales y por el riesgo de ayudar a otros a acelerar, según recogió Cybernews.
Una cifra distinta en la revisión de riesgos
En un análisis separado, METR revisó la sección de investigación automatizada del informe de riesgos de Anthropic de agosto, que trataba los modelos disponibles hasta el 15 de julio. La versión pública describía algunos indicadores de progreso como inferiores al doble de su ritmo anterior.
Tras combinar cifras de la versión privada, METR calculó una aceleración de 1.97 veces y sostuvo que "alrededor de dos" habría descrito mejor el resultado. El valor de 1.97 es un cálculo de METR y no aparece como tal en el informe privado. Tampoco es la medición de octubre que sustenta la estimación general cercana al doble.
Los evaluadores consideraron plausible que se hubiera alcanzado en julio el umbral de alerta de Anthropic, aunque tanto los investigadores pertinentes de METR como los de la compañía se inclinaban por pensar que todavía no se había alcanzado. La cifra, por sí sola, no demuestra que se cumpliera ese umbral.
Gerardo Pavez
