TL;DR:
- OpenAI publicó el 29 de julio de 2026 que GPT-5.6 Sol pasó de 13.3% a 38.3% en el conjunto público de ARC-AGI-3 al activar dos ajustes de su Responses API.
- El mismo cambio recortó seis veces los tokens de salida, pero el resultado sigue por debajo del 48% que OpenAI estima para un evaluador humano promedio.
- François Chollet aceptó que los ajustes generales de API son admisibles, aunque el tablero verificado de ARC Prize continúa encabezado por Claude Opus 5 con 30.2%.
OpenAI publicó el 29 de julio de 2026 un análisis en el que sostiene que el bajo desempeño de GPT-5.6 Sol en ARC-AGI-3, el benchmark de razonamiento interactivo de la fundación ARC Prize, se explica más por el software que lo evaluaba que por el modelo. Al correr la misma prueba desde su Responses API con dos ajustes encendidos, retención del razonamiento y compactación de contexto, la compañía reporta que el puntaje subió de 13.3% a 38.3% en el conjunto público de tareas, con seis veces menos tokens de salida. Esa cifra queda arriba del 30.2% que Claude Opus 5, de Anthropic, tiene verificado en el mismo benchmark. No se midieron igual: el resultado de OpenAI es autorreportado y con arnés propio, y el tablero oficial de ARC Prize sigue encabezado por el modelo de Anthropic.
ARC-AGI-3 es un benchmark de razonamiento interactivo que suelta al modelo dentro de juegos 2D desconocidos, sin instrucciones ni objetivo declarado, y mide qué tan eficientemente aprende a resolverlos comparado con una persona. La métrica se llama Relative Human Action Efficiency y un 100% significaría ganar todos los juegos con la misma economía de movimientos que un humano. El modelo nunca ve su calificación mientras juega. Cada acción solo le devuelve una representación en texto del cuadro actual y el nivel en el que va.
Ese contraste fue el que picó a OpenAI. Su propio modelo había resuelto la conjetura del doble recubrimiento por ciclos y se había pasado Pokémon FireRed, y aun así rascaba apenas en un puñado de rompecabezas. GPT-5.5, la generación anterior, se quedó en 0.4%.
Tres cifras distintas para el mismo modelo en la misma prueba
Aquí conviene ordenar los números, porque la palabra "triplicó" no compara lo que muchos titulares dieron por hecho.
- 7.8% es lo que muestra el tablero verificado de ARC Prize para GPT-5.6 Sol (Max), el número que Anthropic superó por casi cuatro veces con Opus 5.
- 13.3% es lo que sacó el mismo modelo cuando OpenAI corrió ella misma el arnés oficial sobre el conjunto público de tareas.
- 38.3% es el resultado con su Responses API, razonamiento retenido y compactación activados.
El triple sale de la segunda cifra a la tercera. La publicación de OpenAI abre citando el 7.8% y no explica por qué su propia corrida con el arnés oficial dio casi el doble de eso. Varios medios calcularon el salto contra el 7.8% y lo reportaron como una mejora de casi cinco veces, mientras el texto de la compañía habla de triplicar. Son dos historias distintas contadas con los mismos datos.
Un arnés es la capa de software que rodea al modelo durante una evaluación y decide tres cosas: qué información ve en cada turno, cómo se traduce su respuesta en una acción y cuánto de lo anterior sigue disponible en su contexto. ARC Prize diseñó el suyo a propósito genérico, sin herramientas ni funciones especiales, con el argumento de que así se ven mejor las debilidades reales de cada modelo. Las empresas comerciales hacen lo contrario y afinan el arnés a las mañas de su producto. Que esa decisión de ingeniería pese tanto en la calificación final es justo lo que ya se había visto cuando el AISI probó a los modelos de frontera.
Qué hacen los dos ajustes que movieron el resultado
El primero se llama retención del razonamiento. El arnés oficial de ARC-AGI-3 tiraba los mensajes internos de razonamiento después de cada acción, así que el modelo seguía viendo el registro de sus movimientos y unas notas breves, pero no los planes ni las hipótesis que los habían producido. Cada turno arrancaba de cero. En la Responses API basta con pasar el identificador de la respuesta anterior para que ese razonamiento viaje entre llamadas a herramientas y entre turnos.
El segundo ataca la memoria de las acciones. El arnés oficial resuelve el límite de contexto con truncamiento rodante: cuando la conversación pasa de 175,000 caracteres, borra lo más viejo. La compactación hace otra cosa, resume la conversación y continúa a partir de ese resumen. La implementación de OpenAI usa un tope de 175,000 tokens, que en la práctica queda muy parecido porque casi todo el texto son cuadrículas de acciones.
Con las dos encendidas, OpenAI reporta dos efectos. El modelo piensa menos antes de cada movimiento, porque ya no reinterpreta el juego desde el principio, y sostiene estrategias coherentes a lo largo de una partida. El consumo es el dato que más debería interesar a cualquiera que pague por tokens, porque el triple de puntaje salió con seis veces menos tokens de salida.
Hay un caso que aterriza la diferencia. En el juego identificado como cd82, ningún modelo de frontera del tablero público pasa del primer nivel. Con el arnés de OpenAI, GPT-5.6 Sol se pasó los seis.
Ilan Bigio y Ted Sanders, autores de la publicación, cierran con la moraleja que la compañía quiere dejar sembrada:
"Las evaluaciones rara vez miden a los modelos de forma aislada."
Lo que también se mide, agregan, son decisiones poco visibles de configuración, de diseño del arnés y de prompteo.
ARC Prize defiende su método y Chollet mueve la línea
La fundación respondió que sus puntajes oficiales usan un procedimiento estandarizado, sin ajustes específicos de cada proveedor, precisamente para que la comparación sea pareja entre laboratorios. El punto que queda sin resolver, según reportó The Decoder, es si ARC Prize evaluó a OpenAI con una API vieja de estilo Chat Completions que ya no ofrecía funciones que la de Claude sí tenía. Si así fue, la desventaja era del arnés y no del modelo.
Dilis Salazar
François Chollet, cofundador de ARC Prize y creador de la serie ARC-AGI, matizó la postura de su propia organización. Trazó una raya entre los arneses construidos a la medida del benchmark o que incorporan conocimiento de su formato, que para él quedan descartados, y los ajustes de API de propósito general, no diseñados para ARC-AGI-3 y disponibles para cualquier cliente, que sí le parecen legítimos. Los dos ajustes de OpenAI caen del lado permitido. Chollet añadió que su equipo lleva mucho ida y vuelta con la compañía sobre cómo probar sus modelos, en especial con la compactación, y celebró que estén empezando a dar con la respuesta. Sobre el riesgo de que cada proveedor corra con una configuración distinta, puso una condición:
"Mientras los ajustes y el costo se reporten con claridad."
Vale recordar de dónde viene la vara. Opus 5 llegó a su 30.2% resolviendo cinco entornos que ningún modelo había vencido, cuatro de ellos al nivel de un humano o por encima, y con eso ya van seis de los 25 juegos públicos resueltos. En el benchmark anterior, ARC-AGI-2, ese mismo modelo marca 90.4%. La distancia entre esos dos números dice más sobre la dificultad de ARC-AGI-3 que cualquier discusión de arneses.
Qué te llevas si construyes agentes con estas APIs
OpenAI remata su publicación con tres recomendaciones para desarrolladores: usar la Responses API en lugar de la vieja Chat Completions, retener el razonamiento y activar la compactación. Viene de parte interesada, obvio. El hallazgo de fondo, en cambio, no depende del proveedor que uses: si tu agente descarta el razonamiento del modelo en cada llamada a herramienta y resuelve el límite de contexto borrando lo más antiguo, estás pagando más tokens por peores resultados.
Para los equipos que están montando agentes sobre estas APIs en México, España y América Latina, lo accionable queda lejos del marcador entre OpenAI y Anthropic: el mismo modelo, en la misma tarea, rindió tres veces más gastando una sexta parte de los tokens de salida, solo por cómo se administró su memoria. Antes de cambiar de proveedor por una tabla de benchmarks, conviene revisar qué está haciendo tu propio arnés con el contexto.
Preguntas rápidas sobre el resultado de GPT-5.6 Sol
¿GPT-5.6 Sol ya es mejor que Claude Opus 5 en ARC-AGI-3?
En el tablero oficial de ARC Prize, no. Ahí GPT-5.6 Sol (Max) figura con 7.8% y Claude Opus 5 con 30.2%, ambos medidos con el arnés estándar. El 38.3% que reporta OpenAI se obtuvo con su propia Responses API sobre el conjunto público de tareas y no ha sido verificado por ARC Prize.
¿Qué es la compactación de contexto?
Es una función de la Responses API de OpenAI que resume la conversación cuando se acerca al límite de contexto y continúa a partir de ese resumen. El arnés oficial de ARC-AGI-3 hace lo contrario: descarta los mensajes más antiguos en cuanto el historial rebasa los 175,000 caracteres, con lo que el modelo pierde sus primeras observaciones.
¿Cuánto saca una persona en ARC-AGI-3?
OpenAI estima que el evaluador humano promedio llega a 48%, a partir de los registros oficiales de juego que ARC Prize publicó. Con esa referencia, ni el 38.3% de GPT-5.6 Sol ni el 30.2% de Claude Opus 5 alcanzan todavía el desempeño de una persona jugando por primera vez.
El episodio pega más allá del marcador entre dos empresas. Cuando un mismo modelo pasa de 7.8% a 38.3% según quién arme la prueba, la cifra suelta de un anuncio deja de servir para elegir proveedor, y la lectura útil para quien compra o construye se corre hacia dos datos que rara vez ocupan el titular: con qué configuración se midió y cuánto costó la corrida.
