Ethan Mollick, profesor de Wharton, considera que Claude Fable 5.2 se acerca a una inteligencia artificial general de capacidades desiguales. Tras probar el modelo de Anthropic antes de su lanzamiento, observó que podía crear proyectos complejos, pero también que necesitaba ayuda para detectar problemas de calidad y decidir cuándo detenerse.
En su análisis del 9 de noviembre, Mollick llama a ese resultado "Jagged AGI". Su definición de inteligencia artificial general es deliberadamente limitada: un sistema capaz de igualar a la mayoría de los expertos humanos en la mayoría de las tareas intelectuales que pueden hacerse en una computadora. Excluye, por ejemplo, el trabajo físico y buena parte de la interacción con otras personas.
El profesor describe una evaluación cualitativa basada en sus propios encargos, no una medición que demuestre que el modelo haya alcanzado esa definición. En uno de ellos, consideró que un video generado con código, a partir de una sola instrucción, estaba al nivel del trabajo de un experto humano en esa tarea concreta.
Mundos virtuales y un manual que siguió creciendo
Uno de los experimentos consistió en crear un recorrido automático por mundos tridimensionales conectados mediante portales. Según Mollick, después de 20 horas el sitio tenía 204 mundos; al publicar su análisis, ya había más de 450. Él aportó ideas de lugares y algunas funciones, mientras los agentes de Claude desarrollaban los escenarios.
El proyecto también mostró problemas de coordinación. Mollick vio temas repetidos entre equipos y pidió que se pulieran los mundos existentes. Los agentes empezaron a valorar las versiones con capturas de pantalla, pero algunos optimizaron su trabajo para esas imágenes concretas. El agente principal respondió con reglas más estrictas de evaluación.
El manual siguió creciendo a medida que aparecían problemas. Tras 12 días tenía 204 secciones y 87,500 palabras, según el profesor. Para entonces, incorporar un mundo nuevo exigía una idea aprobada, tres agentes evaluadores y una revisión del código frente a las reglas, un proceso que podía tomar alrededor de un día.
Mollick reconoce que parte del problema pudo originarse en su propia petición imprecisa de "pulir" el trabajo. Su conclusión es más acotada que una incapacidad absoluta del modelo: en esos proyectos, detectar cuándo una solución necesitaba una corrección seguía recayendo con frecuencia en él.
Un negocio de demostración y un estudio sin prerregistro
En otra prueba, el profesor pidió al modelo que ideara un negocio capaz de generar al menos 20,000 dólares en un año con una dedicación mínima de su parte. Claude evaluó 22 ideas y propuso Prebid Brief, un servicio de información sobre proyectos públicos para vendedores de equipos. Mollick afirma que el sistema consultó agendas de 201 gobiernos municipales y de condado para preparar las primeras entregas.
El plan le pareció sólido, pero detuvo el experimento antes de que atendiera clientes. El propio sitio se presenta como una demostración que no acepta pagos. Por eso, la prueba muestra cómo se preparó una propuesta, no si el negocio habría funcionado de manera autónoma.
El límite apareció de otra forma en un encargo de investigación académica. Mollick pidió formular y prerregistrar una hipótesis, reunir datos y redactar un artículo. El resultado le pareció prometedor, aunque llegó a 182 páginas y todavía requería revisión. El prerregistro tampoco se realizó: los planes quedaron dentro del proyecto y algunos se escribieron después de obtener resultados preliminares.
Además, el profesor señaló que ninguna persona, incluido él, había comprobado a fondo los resultados. Es una distinción relevante para cualquier lector que use agentes en investigación: un documento extenso y convincente todavía necesita una verificación independiente de sus métodos y conclusiones.
Lo que miden otras pruebas
La documentación de Anthropic ofrece otro ejemplo de cómo las instrucciones pueden cambiar el resultado. En pruebas de programación pequeñas, la empresa observó que indicar al modelo que el código era suyo favorecía la integración de partes repetidas, pero también podía llevarlo a hacer cambios no solicitados. Por ello recomienda revisar las diferencias en el código, además del resumen final. Son pruebas de la propia fabricante, en tareas distintas a las de Mollick.
MultiAI, una empresa que ofrece acceso a varios modelos, examinó otro tipo de capacidad: seis problemas con respuestas comprobables, sin herramientas y con tres repeticiones en cada uno de tres niveles de esfuerzo. Según su reporte, Fable 5.2 acertó 52 de 54 intentos; los dos errores ocurrieron en el mismo problema con el nivel medio. Esa muestra sirve para observar resultados en ejercicios concretos, pero no mide por sí sola el criterio necesario para dirigir un proyecto abierto.
Mollick declaró que recibió acceso anticipado sin que se le cobrara el consumo de tokens durante la prueba y que no recibe dinero de los laboratorios de IA. Sus experimentos dejan una pregunta práctica para quien quiera reproducirlos: cuánto tiempo, supervisión y cómputo requeriría obtener un resultado útil en su propio proyecto.
