Saltar al contenido
IA

Un mismo modelo de IA costó hasta cinco veces más según el agente de programación

Runta y Baseten probaron 22 configuraciones en cinco modelos abiertos. El 64.5 % del costo estimado correspondió a intentos que fallaron o agotaron el tiempo.

por Gerardo Pavez
Introducing FrontierHarness Eval v1.1 — RUNTA social preview
Foto: runta.com, términos de uso, vía runta.com

Dos agentes de programación que usaron el mismo modelo de IA registraron una diferencia de cinco a uno en el costo promedio por tarea. Runta publicó el resultado el 17 de noviembre en FrontierHarness Eval v1.1, una evaluación realizada con Baseten. La mayor brecha apareció con DeepSeek V4.1 Flash 1017. Cline CLI costó cinco veces lo que OpenCode v1, con una tasa de aprobación apenas dos puntos porcentuales mayor en la prueba.

Qué cambió al mantener el mismo modelo

El estudio comparó 22 configuraciones de agentes con cinco modelos de pesos abiertos. Cada combinación se probó con el mismo conjunto de 62 tareas de terminal, con cuatro intentos por tarea. En total fueron 27,280 ejecuciones que consumieron unos 83,000 millones de tokens. Runta ejecutó las pruebas en su propia infraestructura y Baseten sirvió los modelos. Los costos de inferencia se estimaron con las tarifas de lista de Baseten y los tokens reportados por el proveedor.

El software que dirige al modelo, denominado harness en el informe, organiza las instrucciones, las herramientas y la secuencia de pasos de cada intento. Al comparar las 110 combinaciones, Runta atribuyó al modelo el 92.8 % de la variación del costo por tarea en una escala logarítmica. Dentro de cada modelo, la opción más cara costó entre 1.8 y 5 veces lo que la más barata.

La clasificación también cambió al sustituir el modelo. Codex CLI ocupó el primer lugar por costo promedio por tarea con GLM-5.3 y bajó al puesto 16 con Kimi-K3. El informe estima intervalos de confianza de aproximadamente ±10 puntos porcentuales para las tasas de aprobación de cada combinación. La ventaja observada de dos puntos de Cline CLI con DeepSeek, por sí sola, ofrece poca evidencia de una mejora en el rendimiento.

El costo de conseguir un resultado aprobado

En el promedio de los cinco modelos, OpenCode v2 fue el más barato por tarea, con 0.561 dólares y un 57.3 % de aprobación. Codex CLI costó 0.573 dólares por tarea y aprobó el 61.1 %. Al dividir el costo medio entre la proporción de intentos aprobados, el orden se invirtió. Codex CLI quedó en 0.937 dólares por tarea aprobada y OpenCode v2, en 0.978 dólares. Esa segunda medida incorpora el gasto de las ejecuciones que terminaron sin un resultado válido.

En el conjunto de la prueba, el 64.5 % del costo estimado de inferencia correspondió a ejecuciones que no aprobaron. Un 52.7 % se atribuyó a fallos y un 11.8 % a intentos que agotaron el tiempo. Entre las cinco configuraciones que Runta destacó por su relación entre costo y aprobación, entre el 68 % y el 82 % de los intentos fallidos sí llegaron a entregar una respuesta final. El verificador determinó que esas entregas incumplían los criterios de la tarea.

Qué midió Runta sobre los pasos del agente

De los cuatro factores que Runta comparó, solo el número de pasos por tarea aprobada mostró una correlación estadísticamente significativa con el costo por aprobación, de 0.51. El tamaño de la solicitud inicial, el número de herramientas disponibles al comenzar y la proporción de tokens recuperados de caché no mostraron esa relación en el análisis conjunto. La prueba observó el comportamiento de los agentes con su configuración habitual y el máximo esfuerzo de razonamiento. Para medir cuánto ahorraría recortar pasos haría falta ensayar ese cambio por separado.

Las cifras corresponden a tareas de terminal, cinco modelos de pesos abiertos y un solo proveedor. Si un equipo cambia de modelo o de proveedor, la comparación que propone Runta es volver a medir ambas cifras con tareas propias y un criterio de aprobación común.

Fuentes: 1, 2

Gerardo Pavez imagen de perfil
por Gerardo Pavez

Redactor y creador de contenido especializado en deportes y tecnología. Apasionado por todo lo que ocurre dentro y fuera de la cancha.

Leer más de Tecnología y Ciencia