> ## Content Index
> Fetch the complete content index at: https://fomoera.com/llms.txt
> Use this file to discover other available public pages before exploring further.

# Dos estudios exploran qué cambia cuando una IA pasa de memorizar a generalizar
- URL: https://fomoera.com/grokking-compresion-redes-neuronales/
- Published: 2026-10-28T20:40:00.000Z
- Updated: 2026-10-28T20:40:00.000Z
- Description: Experimentos con redes pequeñas apuntan a que la compresión de sus pesos sigue al aprendizaje tardío. Otro estudio propone describir esa transición con herramientas de la física.
- Author: Patricia Rodriguez
- Tags: Tecnología y Ciencia, IA

Una red neuronal puede memorizar sus ejemplos de entrenamiento y tardar mucho más en resolver problemas que no ha visto. Dos prepublicaciones exploran ese salto, conocido como *grokking*: una encuentra que ciertos cambios en los pesos aparecen después de que comienza la generalización; la otra propone describir la transición con herramientas de la física. Los resultados proceden de experimentos controlados con redes pequeñas.

En aprendizaje automático, generalizar significa aplicar lo aprendido a datos distintos de los utilizados durante el entrenamiento. El fenómeno de aprendizaje tardío se estudió previamente en tareas generadas por algoritmos: una red podía acertar los ejemplos conocidos y seguir fallando en los nuevos antes de mejorar de manera abrupta.

## La compresión aparece después del salto

Shlok Mehendale y Paras Chopra examinaron redes entrenadas en tareas de aritmética modular, con una red multicapa y un transformer de una capa. En los transformers estudiados, la memorización ocurrió dentro de los primeros 250 pasos de entrenamiento. El inicio de la generalización, definido por los autores como alcanzar un 95% de aciertos en la prueba, llegó entre los pasos 6,500 y 21,000.

Los investigadores observaron la caída más pronunciada del rango efectivo de una matriz de pesos unos 900 pasos después de ese inicio. El rango efectivo sirve aquí para medir cuántas direcciones relevantes participan en la estructura de la matriz. La secuencia observada sugiere que esa compresión acompaña la transición, en lugar de desencadenarla por sí sola.

Para poner a prueba esa idea, los autores impusieron restricciones de rango en distintas partes del transformer y las compararon con un control. Limitar el rango de los pesos de entrada de una capa retrasó el aprendizaje tardío; al limitar la representación de entrada, 15 de 20 ejecuciones no llegaron a generalizar de ese modo. El resultado no descarta que otras formas de compresión influyan en otros modelos, pero sí cuestiona que forzar esta restricción sea una solución general para acelerar el proceso.

## Una descripción inspirada en la física

Un segundo equipo, encabezado por Min Chen, estudió la suma modular con una red de dos capas y propuso una analogía con las transiciones de fase, como las que se analizan en física estadística. En su marco, el tamaño de los pesos de la red sirve como indicador de la transición, mientras el avance del entrenamiento y la penalización de pesos funcionan como variables de control.

Para construir su modelo, los autores calcularon cómo se relacionan las neuronas a partir de la función de pérdida y las ordenaron en una geometría efectiva. Después agruparon neuronas para analizar el sistema a distintas escalas, un procedimiento inspirado en el grupo de renormalización. Los exponentes obtenidos por ese método coincidieron con estimaciones directas dentro de un margen de 1% a 10%, según el estudio.

Ambos trabajos fueron enviados a arXiv el 26 de octubre de 2026 como prepublicaciones, por lo que sus conclusiones aún requieren evaluación y reproducción independientes. Sus tareas simplificadas permiten observar con detalle la dinámica de entrenamiento, pero no demuestran que las mismas señales o la misma descripción física se apliquen a grandes modelos de lenguaje o a problemas del mundo real.

*Fuentes:* [1](https://arxiv.org/abs/2610.35112?ref=fomoera.com), [2](https://arxiv.org/abs/2610.36113?ref=fomoera.com), [3](https://arxiv.org/abs/2201.02177?ref=fomoera.com)