Modal anunció el 19 de octubre que planea incorporar las CPU Vera de Nvidia para alojar agentes de IA. La empresa busca ejecutar más tareas simultáneas por servidor, después de medir una ventaja de rendimiento en sus propias pruebas bajo carga.
Los nuevos procesadores convivirán con los de Intel y AMD, explicó el director ejecutivo de Modal, Erik Bernhardsson, a Reuters. La compañía, que alquila capacidad de cómputo a desarrolladores de IA, ejecutaba estas cargas exclusivamente con chips de esos dos fabricantes. Cada trabajo se asignará al hardware que mejor lo ejecute.
La ventaja aparece al ejecutar muchas tareas a la vez
Modal construyó Agentless Agent Bench con 50 soluciones y verificadores de Terminal-Bench. Eliminó las llamadas de red y precargó contenedores Docker para aislar operaciones de CPU, como compilar código, buscar en archivos o trabajar con Git.
Al aumentar las tareas simultáneas, la compañía midió hasta el doble de tareas completadas por unidad de tiempo frente a una máquina Intel Granite Rapids x86 equivalente. La latencia de cada tarea fue igual o, en algunos casos, menor, según Modal.
En las pruebas ejecutadas una por una, con el servidor sin carga, Vera no ganó siempre y las diferencias fueron menores. El resultado anunciado describe capacidad de procesamiento concurrente; la mejora varía según la tarea y las condiciones de ejecución. Son mediciones de la propia empresa.
El trabajo de los agentes también pasa por la CPU
Nvidia explica en su documentación técnica que las GPU ejecutan el modelo, mientras las CPU ejecutan código y herramientas, recuperan datos y coordinan los pasos del agente. Una operación lenta en esa cadena puede retrasar el resto del proceso.
Vera utiliza arquitectura Arm y reúne 88 núcleos Olympus, según Nvidia. Su incorporación requerirá cambios profundos en el software de Modal, reportó Reuters. Bernhardsson añadió que la compañía probará los nuevos procesadores de Intel y AMD cuando estén disponibles.
Ese reparto de trabajo también afecta al entrenamiento por refuerzo. Nvidia describe cómo el código generado por un modelo pasa a las CPU para ejecutarse y evaluarse. Acelerar esos pasos permite reducir las esperas de los aceleradores y completar más evaluaciones durante el entrenamiento.
Modal busca alojar más trabajo por servidor y reducir las esperas entre los pasos de los agentes, con una flota que combinará tres proveedores de CPU.
