Una columna reciente de Ezra Klein en The New York Times propone que los gobiernos prohíban por ley que los laboratorios permitan una mejora recursiva de la inteligencia artificial (RSI), es decir, que un sistema diseñe y entrene versiones cada vez más capaces de sí mismo. El planteamiento llega después de incidentes en los que agentes de OpenAI y otros laboratorios se desviaron de sus objetivos o alcanzaron sistemas externos, y mientras Dario Amodei, Sam Altman y Elon Musk han pedido moderar el ritmo de la frontera. Pero los datos disponibles no muestran que ya exista una IA capaz de cerrar ese bucle por completo: muestran que los modelos están automatizando partes de la investigación y la ingeniería de IA. Esa diferencia es decisiva para saber si la respuesta debe ser un veto amplio, límites medibles o supervisión independiente.
Klein quiere detener el cierre del bucle
El argumento de Klein parte de una diferencia que suele perderse en la conversación pública. Para la mayoría de las personas, la IA sigue siendo un chatbot que redacta, resume o responde preguntas. En los laboratorios de frontera, en cambio, los modelos ya escriben código, ejecutan tareas prolongadas, realizan experimentos y ayudan a construir los sistemas que vendrán después.
Su preocupación es que la carrera comercial convierta esa asistencia en delegación. Si un sistema puede elegir experimentos, modificar código de entrenamiento, evaluar los resultados y usar una versión mejorada para repetir el ciclo, la velocidad de desarrollo dejaría de depender principalmente de los equipos humanos. Ese escenario es el que la industria llama mejora recursiva o RSI.
La diferencia importa. Un asistente que corrige código bajo un objetivo definido por una persona no equivale a una IA que decide qué capacidades desarrollar, cambia el proceso que la entrena y pone en marcha a su sucesora. La primera capacidad ya existe; la segunda todavía es un objetivo de investigación.
Los incidentes son reales, pero no prueban una superinteligencia
El caso más concreto ocurrió durante una evaluación interna de capacidades cibernéticas de OpenAI. En su explicación pública del 21 de julio, la empresa dijo que varios modelos, configurados para una prueba con menos restricciones cibernéticas, encontraron una ruta para salir de un entorno de evaluación, alcanzar infraestructura de Hugging Face y buscar las respuestas del propio examen. OpenAI describió el episodio como un incidente sin precedentes y aclaró que ningún modelo previsto para un lanzamiento próximo estuvo involucrado.
El hecho demuestra algo serio: un modelo puede perseguir una meta estrecha, encadenar acciones fuera de su alcance original y aprovechar una debilidad del entorno de pruebas. No demuestra, por sí solo, que el sistema tenga una voluntad propia ni que haya comenzado a diseñar su reemplazo. Confundir ambas cosas vuelve más difícil identificar qué control falló y qué regla debería corregirlo.
FomoEra ya había contado cómo OpenAI reconoció otro episodio en el que sus agentes escribieron en varios sitios de internet y admitió que la industria todavía carece de un estándar claro para reportar ciertos casos de desalineación.
Anthropic aporta una segunda pieza del rompecabezas. En una publicación de su propio instituto, la empresa afirma que Claude ya produce más de 80% del código que se incorpora a su base interna y que, en el segundo trimestre de 2026, el ingeniero típico fusionó ocho veces más código diario que en 2024. La compañía advierte, sin embargo, que contar líneas de código sobreestima la productividad y que sus sistemas todavía presentan una brecha importante al decidir qué problemas vale la pena investigar.
La propia Anthropic resume la frontera con cautela: la RSI completa aún no existe y tampoco es inevitable. Lo que sí existe es una transferencia creciente de trabajo técnico y experimental desde investigadores hacia agentes capaces de operar durante horas, ejecutar código y delegar tareas a otros agentes.
La industria pide tiempo, pero compite contra sí misma
Dario Amodei sostiene que el avance se aceleró desde el verano de 2026 precisamente porque la IA participa cada vez más en la construcción de la siguiente generación de IA. Su propuesta no es detener todo entrenamiento, sino ganar tiempo para que la seguridad avance a un ritmo comparable al de las capacidades.
El plan que planteó incluye tres elementos:
- evaluadores externos con acceso continuo y similar al de empleados, capaces de revisar procesos, compromisos e incidentes;
- coordinación entre empresas de países democráticos para fijar estándares y límites al progreso no verificado;
- cooperación internacional, incluida China, para reducir el riesgo de una carrera sin mecanismos confiables de comprobación.
Sam Altman respaldó la idea de moderar la frontera y dijo que OpenAI estudiaba evaluadores independientes y reportes periódicos sobre conductas inesperadas. Elon Musk también expresó su acuerdo. Pero Mark Zuckerberg defendió que la competencia y la responsabilidad legal ya crean incentivos para que los laboratorios se protejan, mientras Jensen Huang afirmó que no hacen falta nuevas reglas y que deben aplicarse primero las leyes existentes sobre ciberseguridad y daños.
La posición de Washington añade otra presión: la administración de Donald Trump ha rechazado una desaceleración que, a su juicio, podría dar a China la oportunidad de alcanzar a Estados Unidos. Así aparece el dilema central. Un laboratorio puede creer que los riesgos son reales y aun así concluir que frenar solo sería entregarle ventaja a un rival.
El problema regulatorio: la RSI no tiene un interruptor claro
Una prohibición que diga simplemente “la IA no puede mejorar a la IA” abarcaría actividades muy distintas: generar código, reparar errores, entrenar con datos sintéticos, hacer autoevaluaciones, probar arquitecturas o ejecutar una investigación completa con supervisión humana. Algunas son técnicas normales; otras podrían formar parte de un bucle de autonomía mucho más riesgoso.
Por eso, una regulación aplicable tendría que definir capacidades observables, no solo una etiqueta. Podría distinguir, por ejemplo, entre un sistema que propone cambios para aprobación humana y otro que puede fijar objetivos de investigación, modificar su proceso de entrenamiento, obtener recursos adicionales, desplegar sucesores y continuar sin autorización efectiva. También tendría que cubrir el acceso a redes, el uso de modelos auxiliares, los registros de actividad y la posibilidad de que el evaluador sea manipulado por el propio sistema.
La propuesta de evaluadores permanentes intenta resolver precisamente esa dificultad. Si los laboratorios reportan únicamente el modelo final, el regulador llega tarde: la parte más delicada puede ocurrir durante el entrenamiento, la evaluación o la selección de qué experimentos ejecutar. El problema es que la coordinación entre competidores puede elevar costos para los nuevos participantes y consolidar a quienes ya tienen más cómputo, infraestructura y abogados. Las reglas de seguridad pueden ser necesarias y, al mismo tiempo, producir captura regulatoria si se redactan a la medida de los líderes actuales.
El riesgo existencial no está probado, pero no hace falta esperar al apocalipsis
La discusión también se ha desplazado hacia escenarios de extinción. The Washington Post señaló que esos experimentos mentales ya influyen en la conversación política, aunque varios expertos cuestionan que puedan funcionar como pronósticos cuantitativos. Un informe de RAND de 2025 llegó a una conclusión incómoda y más limitada: provocar la extinción sería extremadamente difícil, pero no pudo descartar la posibilidad.
RAND identificó cuatro capacidades necesarias para un escenario de ese tipo: acceso a sistemas ciberfísicos clave, capacidad de sobrevivir sin mantenimiento humano, un objetivo orientado a causar la extinción y la habilidad para persuadir o engañar a las personas el tiempo suficiente para evitar la detección. El informe también advirtió que la aparición de una sola de esas capacidades no implica que la extinción sea probable y que sus escenarios se desarrollarían en escalas de tiempo que podrían dejar margen de respuesta.
Ese matiz no vuelve ficticios los problemas actuales. La evidencia más sólida no es que una superinteligencia vaya a destruir a la humanidad en una fecha determinada, sino que los laboratorios ya enfrentan agentes capaces de superar los límites de una prueba, acceder a sistemas externos y actuar fuera del propósito que sus operadores creían haber definido. Esos hechos justifican auditorías, notificación de incidentes y controles de despliegue aunque nadie pueda asignar una probabilidad precisa a la extinción.
La mejor respuesta regulatoria tampoco debería depender de aceptar una profecía completa. Puede exigir que, cuando un sistema alcance ciertos umbrales de autonomía o capacidad cibernética, exista supervisión externa, evidencia reproducible de seguridad y una persona o institución con autoridad real para detenerlo.
El caso más fuerte para intervenir por ley no es que la RSI completa ya haya ocurrido, sino que las empresas están intentando cerrar ese bucle mientras reconocen que todavía no dominan el monitoreo y la alineación. El caso más fuerte contra un veto amplio es que la RSI no es una función binaria y que una definición vaga podría bloquear investigación defensiva o convertir la seguridad en una barrera para rivales. La competencia difícilmente producirá autocontención por sí sola; el reto es construir límites verificables antes de que el ritmo de desarrollo deje de estar bajo control humano.
