Google y Artificial Analysis presentaron el 10 de noviembre una evaluación de agentes de inteligencia artificial que deben interpretar planos, gráficos y otros archivos visuales para producir trabajos profesionales. La prueba MKA reúne 200 tareas y coloca a Gemini 4 Carbon en segundo lugar en su clasificación principal, aunque los autores advierten que la diferencia entre los tres primeros no es estadísticamente concluyente.
La evaluación, llamada Multimodal Knowledge Agent, acompaña la ampliación del acceso a Carbon, que Google comenzó a ofrecer a desarrolladores de pago y suscriptores de Google AI Ultra. La compañía había presentado el modelo en octubre para un grupo limitado de defensores de ciberseguridad.
Patricia Rodriguez
Una prueba con planos, hojas de cálculo y presentaciones
Google explica que preparó las tareas con especialistas de 83 ocupaciones en 10 sectores. Los ejercicios proponen proyectos de varios pasos que, de acuerdo con la compañía, un profesional experimentado tardaría entre tres y ocho horas en completar.
En un ejemplo público, el agente recibe planos y secciones de un edificio y debe preparar una presentación que identifique discrepancias en puertas y ventanas. Otros trabajos piden informes, hojas de cálculo o archivos con anotaciones. El resultado se compara con una lista de criterios elaborada por especialistas.
Artificial Analysis ejecuta los modelos en un mismo entorno llamado Stirrup. Los agentes pueden usar código, buscar información en internet y, cuando el modelo admite imágenes, examinar los archivos visualmente. Cada tarea tiene un límite de 250 turnos y ocho horas.
El conjunto de 200 tareas permanece privado, según Google, para evitar que sus contenidos se incorporen al entrenamiento o aparezcan en búsquedas. La empresa publicó otros 10 ejemplos para mostrar el formato. Estos últimos son distintos de los que integran la evaluación privada.
Qué significan los porcentajes de la clasificación
En el panel consultado de Artificial Analysis, Claude Fable 5.2 obtuvo 57%, Gemini 4 Carbon 54% y Claude Opus 5.5 53% en la medida principal, llamada Climb WSR. Los resultados corresponden a las configuraciones y condiciones de esa evaluación.
El porcentaje representa el promedio ponderado de criterios difíciles cumplidos por tarea. Un 54% no significa que Carbon haya completado correctamente el 54% de las 200 tareas: cada entrega puede satisfacer algunas condiciones y fallar en otras.
El informe técnico publicado por Google compara los resultados con mayor precisión y concluye que las diferencias entre esos tres modelos no son estadísticamente concluyentes bajo el análisis usado. Los puestos muestran el orden de las puntuaciones observadas, pero por sí solos no prueban una ventaja estable del primero sobre el segundo o el tercero.
Hay otra diferencia en la información publicada: 9to5Google reprodujo una descripción atribuida a Google que situaba a Carbon en primer lugar. El anuncio de Google y el panel de Artificial Analysis consultados lo colocan en segundo. Las fuentes no explican el motivo de la discrepancia.
El costo y los límites de la evaluación
El informe de Google estimó un costo medio de 5.63 dólares estadounidenses por tarea para Carbon y de 35.28 dólares para Fable 5.2, usando precios de lista de las API y teniendo en cuenta la caché. La comparación corresponde a estas tareas y a las tarifas empleadas en el estudio; no determina el costo de un proyecto distinto.
La revisión de las entregas también la realiza una IA. Artificial Analysis dice que utiliza GPT-6 Luna para comprobar cada criterio en un entorno separado. En una muestra de 50 tareas, el informe de Google calculó una coincidencia ponderada de 96.2% entre los juicios del evaluador automático y los de especialistas humanos, sobre criterios de mayor peso.
Los autores señalan que cada modelo se ejecutó una sola vez por tarea, por lo que sus intervalos no recogen la variación entre ejecuciones. También reconocen que el acceso a internet puede permitir que un agente encuentre información en línea en lugar de extraerla de los archivos visuales.
MKA ofrece así una forma de comparar entregas bajo condiciones comunes. La clasificación, el costo y los resultados del evaluador automático necesitan leerse junto con esos límites antes de trasladarlos a otro trabajo.
