Nick Cammarata, investigador de Goodfire, sostiene que muchas neuronas de la IA moderna son comprensibles con mejores herramientas. Su ensayo del 15 de octubre de 2026 plantea una hipótesis para estudiar directamente las redes.
La interpretabilidad mecanística busca explicar cómo los componentes internos de un modelo producen sus respuestas y comprobar qué efecto tiene modificar su actividad.
Una neurona de InceptionV1 asociada a gatos y automóviles respondería, según la revisión de Cammarata, a la forma de V compartida por ambos. Una mezcla aparentemente arbitraria tendría así una explicación común.
Qué representa el 90% preliminar
En Qwen3-32B, Cammarata estima que cerca del 90% de los polos de neurona examinados tiene una función principal. Cuenta por separado la actividad positiva y negativa; es una auditoría preliminar cuyo resultado depende de los umbrales. También afirma observaciones similares en modelos de hasta billones de parámetros, con detalles pendientes de un trabajo complementario.
En marzo de 2025, Anthropic reportó que sus gráficos de atribución ofrecían explicaciones satisfactorias para alrededor de una cuarta parte de los prompts probados con Claude 3.5 Haiku. Incluso esos casos capturaban solo una fracción de los mecanismos del modelo.
Las cifras corresponden a modelos, métodos y denominadores distintos. Una cuenta componentes reconocibles; la otra evalúa cuánto ayuda una herramienta a explicar consultas. No miden el porcentaje total de una IA comprendido.
La definición de superposición también importa
En "Toy Models of Superposition", de 2022, investigadores de Anthropic y Harvard demostraron con redes pequeñas y datos sintéticos que podían representar más características que dimensiones. Llamaron superposición a esa compresión. Sus autores advertían que era incierto cuánto se podía generalizar a redes reales.
Al contrastar ambos trabajos, conviene distinguir esa demostración de la pregunta sobre si una neurona concreta mezcla conceptos sin una relación explicable. Revisar el ejemplo de gatos y automóviles cambia la interpretación de ese caso; no basta para refutar el resultado matemático en redes de juguete.
Para auditar comportamientos, las explicaciones deben conectarse con pruebas sobre las respuestas. Anthropic usó intervenciones sobre el modelo original para comprobar si alterar componentes producía los efectos previstos.
