Dwarkesh Patel y Jerry Han publicaron el 8 de septiembre de 2026 un experimento que descompone seis años de progreso en el preentrenamiento de modelos de lenguaje en dos ejes separados: cuánto aportaron los datos y cuánto los modelos. Entrenaron desde cero recetas de arquitectura representativas de cada año entre 2019 y 2025, de GPT-2 a OLMo-2, y las cruzaron con los corpus públicos de esos mismos años, de OpenWebText a UltraFineWeb. Con un presupuesto de 1e19 FLOPs, los datos rindieron 12.0 veces de ganancia en eficiencia de cómputo y los modelos 3.7, una ventaja de 3.24 a uno para el lado de los datos. Los autores advierten en el mismo texto que la conclusión evidente, la de que el trabajo de arquitectura importó poco, es probablemente la equivocada.
Siete recetas de modelo contra siete corpus de datos
El diseño es una cuadrícula. Por cada año entre 2019 y 2025 existe una receta de modelo publicada de forma abierta, que codifica los ajustes algorítmicos conocidos de ese momento: arquitectura, optimizador, inicializaciones, calendario de tasa de aprendizaje, hiperparámetros. Y por cada año existe también un corpus público nuevo, producto de rastreos más amplios y de técnicas distintas de curación, extracción y filtrado. Patel y Han entrenaron combinaciones de esas recetas y esos corpus en cinco presupuestos de cómputo: 1e17, 3.16e17, 1e18, 3.16e18 y 1e19 FLOPs.
La distancia entre los extremos es enorme en el lado de los datos. OpenWebText, el corpus de 2019 con el que se entrenó GPT-2 en su mayor parte, eran páginas enlazadas desde Reddit con suficientes votos positivos, deduplicadas y filtradas: unos 9,000 millones de tokens. UltraFineWeb, el de 2025, no solo es mucho mayor porque parte de rastreos de todo internet, sino que aplica un filtrado más elaborado, entre otras cosas entrenando un clasificador que predice qué datos van a mejorar empíricamente el rendimiento del modelo.
Como los conjuntos de entrenamiento cambian, comparar la pérdida de entropía cruzada contra un mismo conjunto no sirve. En su lugar midieron capacidad final con OLMES, una evaluación que agrega diez pruebas relativamente fáciles, casi todas de opción múltiple. Los autores reconocen que esa decisión mete ruido en los resultados, y por eso corrieron varias semillas: al menos tres por punto en las curvas de escalado y una sola en la cuadrícula completa de combinaciones a 3.16e18 FLOPs. El tokenizador y la longitud de contexto se mantuvieron fijos en todas las corridas.
Un resultado secundario ordena el resto: los dos ejes casi no interactúan. Una regresión lineal sobre la cuadrícula a 3.16e18 FLOPs explica el 88% de la varianza en el puntaje de OLMES solo con los efectos aditivos del modelo y de los datos. Aprovechar una mejora de arquitectura no exige, entonces, un corpus específico, ni al revés.
Estas son las dos cifras centrales del estudio, con su ritmo anual correspondiente.
| Eje del experimento | Multiplicador acumulado 2019-2025 | Ganancia interanual |
|---|---|---|
| Datos (OpenWebText a UltraFineWeb) | 12.0x | 1.51x (1.45 a 1.57) |
| Modelo (GPT-2 a OLMo-2) | 3.7x | 1.24x (1.19 a 1.29) |
| Los dos ejes juntos | No reportado por separado | 1.57x (1.49 a 1.65) |
Por qué los autores rechazan la lectura obvia del 12x
La interpretación inmediata sería que casi todo el progreso de la era del preentrenamiento fue ingeniería de datos y que el trabajo de modelos pesó mucho menos. Patel y Han sostienen que esa lectura mide mal la aportación de la arquitectura. Su argumento es que la contribución principal de las mejoras de modelo no fue la eficiencia de cómputo, sino volver utilizable una cantidad mayor de cómputo.
Cuando crecen los parámetros, la longitud del contexto, la duración de la corrida y el tamaño del clúster, las cosas se rompen. Los gradientes explotan o se desvanecen, se acaban la memoria y el ancho de banda, el entrenamiento se vuelve inviablemente lento. Buena parte de la investigación de modelos consistió en quitar esos topes: las mezclas de expertos (MoE), las variantes de atención dispersa, las innovaciones de estabilidad como el orden de las normalizaciones y las inicializaciones, y optimizaciones de sistema o de kernel como FlashAttention.
Los autores lo comparan con la diferencia entre un velero y un buque portacontenedores. El buque no navega más rápido, pero carga miles de toneladas y no vuelca con mar picada. Con barcos así ya no hay que agonizar sobre qué se sube a bordo; con los veleros pequeños de 2019 había que cuidar cada pieza de carga.
Las cifras anuales quedan por debajo del estándar de la literatura
Medido año contra año, el experimento arroja una ganancia de eficiencia de cómputo de 1.24x del lado del modelo, con un intervalo de 1.19 a 1.29, y de 1.51x del lado de los datos, entre 1.45 y 1.57. Tomados en conjunto, 1.57x anual, entre 1.49 y 1.65. Es bastante menos que la estimación media de 3x anual de Anson Ho y coautores, la referencia habitual en la literatura de progreso algorítmico.
Los propios autores enumeran por qué su número sale más bajo:
- Muchas ganancias pueden depender de la escala o importar sobre todo con contextos largos, y ellos operaron en escalas demasiado pequeñas para capturarlas.
- Las optimizaciones de inferencia, como la GQA de Llama-3, no aparecen como multiplicadores de cómputo en este montaje, y las mejoras de tokenizador quedaron fuera del estudio.
- Los multiplicadores son sensibles a qué receta y qué corpus se eligió como representativo de cada año. Representativo no equivale a mejor.
- OLMES combina diez tareas relativamente sencillas. Con pruebas de código o de resolución de problemas los números serían distintos y probablemente premiarían otras formas de ingeniería de datos.
La dirección del hallazgo, en cambio, coincide con lo que Epoch AI venía señalando. En febrero de 2026, el investigador Anson Ho escribió que buena parte del progreso de software medido podría deberse a mejoras en la calidad de los datos y no al descubrimiento continuo de algoritmos nuevos. Ho también subrayó lo frágiles que son esas estimaciones: la suya, de 3x anual en preentrenamiento, carga un intervalo de confianza del 95% que va de 1.5x a 64x.
El corpus es finito y el experimento fue pequeño
El texto acota dos veces su propio alcance. La primera acotación es de tamaño. Los modelos entrenados son pequeños, y los modelos pequeños ganan mucho con la calidad de los datos porque tienen poca capacidad: hay que cuidar qué se les mete. Un modelo grande tiene capacidad de sobra y quizá conviene cargarlo con todo lo que se pueda, aunque venga mezclado. Filtrar de forma agresiva obliga además a repetir el corpus decenas de veces, y eso da empíricamente peor resultado que un conjunto más grande de calidad promedio menor. El efecto se agrava porque los modelos de frontera se sobreentrenan hasta 100 veces respecto al punto óptimo de Chinchilla, para bajar el cómputo de inferencia en RL y despliegue.
La segunda acotación es de existencias. Casi todos los corpus revisados son curaciones del mismo Common Crawl, no fuentes nuevas: consumen un acervo finito. Si las ganancias por datos sintéticos resultan limitadas, escriben los autores, el motor principal del progreso en preentrenamiento se frena, porque no estamos generando más internet. Aclaran que no tienen una razón activa para pensar que eso ya esté ocurriendo y que no investigaron datos sintéticos. En sentido contrario, retoman una observación de Ryan Greenblatt: muchas de las mejoras históricas de corpus son del tipo que un investigador automatizado podría probar empíricamente, corriendo ablaciones y midiendo, así que el eje de los datos podría acelerarse si se automatiza la investigación en IA.
Los autores aclaran además que si el preentrenamiento se acelera o se frena en aislamiento no es la pregunta más importante para el avance general de la IA, porque buena parte de las ganancias de los dos últimos años vino del aprendizaje por refuerzo.
Para la economía de los laboratorios la aritmética cambia. Si el motor del preentrenamiento es la ingeniería de datos y el acervo de texto público es finito, lo que una empresa gasta en corredores de datos y productores de entornos pesa tanto como lo que gasta en GPU. Patel y Han proponen justo esa comparación como línea pendiente de investigación, junto con repetir el experimento a mayor escala.
