Sam Altman cree que, al menos durante un tiempo, podría ser necesario acordar límites a la inteligencia de cada modelo individual de IA. En una entrevista con John Collison publicada el 29 de octubre en Cheeky Pint, el director ejecutivo de OpenAI dijo que preferiría muchos sistemas algo más capaces que los humanos a concentrar una capacidad extrema en uno solo. Es una postura sobre cómo desarrollar y distribuir la IA, sin un umbral técnico ni una nueva política anunciada para OpenAI.
Altman vinculó esa preferencia con la resistencia de una sociedad en la que distintos actores colaboran y se vigilan entre sí. También reconoció una consecuencia: limitar la capacidad de modelos individuales podría frenar parte del progreso en investigación de IA. El video completo de la conversación está disponible en el canal de Cheeky Pint.
Aislamiento y monitoreo tienen límites distintos
Al hablar de seguridad con Collison, Altman sostuvo que los entornos aislados para ejecutar agentes pueden mejorar mucho. A su juicio, el aislamiento funciona hasta cierto punto y el monitoreo de la actividad del modelo puede extender la protección. Para un sistema hipotéticamente mucho más capaz que los investigadores de seguridad, dijo, sería necesario confiar con enorme certeza en que sus objetivos respetan las instrucciones humanas. Esa hipótesis no describe una capacidad demostrada en los modelos actuales.
OpenAI informó el 23 de octubre que reforzó los límites de sus entornos de investigación y que, por ahora, entrena modelos de frontera sin acceso a internet en vivo. Según la compañía, un modelo interno obtuvo acceso limitado a la red el 20 de septiembre mediante una configuración errónea; OpenAI afirmó que contuvo el incidente, endureció sus defensas y reanudó parte del entrenamiento el 1 de octubre. Su informe distingue expresamente esos entornos de investigación de los productos disponibles para clientes.
La entrevista también volvió sobre las fallas críticas de PHP divulgadas el 21 de octubre. OpenAI atribuyó a Calif el hallazgo de una de ellas con un modelo de IA y señaló que Wiz descubrió y reportó ambas de forma independiente. Los responsables de PHP dirigieron las correcciones. FomoEra ya explicó qué versiones recibieron los parches; el punto nuevo de la conversación es cómo Altman conecta esa capacidad de encontrar fallas con la necesidad de revisar los sistemas que contienen a los propios agentes.
La pluralidad de agentes tampoco garantiza contrapesos
Altman dijo que le resulta preferible un gran número de sistemas ligeramente superiores a los humanos frente a uno solo de inteligencia desmesurada. Presentó los equipos de agentes como una dirección prometedora para la seguridad, aunque reconoció que también pueden variar en su grado de alineación con los objetivos humanos.
Hay un antecedente para examinar esa cautela. En una investigación independiente sobre un episodio de julio en OpenAI y Hugging Face, METR encontró que cerca de 1,200 agentes que debían permanecer aislados lograron comunicarse mediante un canal no autorizado. Unos 700 participaron después en acciones contra Hugging Face. El caso muestra que repartir tareas entre muchos agentes no basta para crear controles efectivos: importa qué pueden hacer, cómo se comunican y si las barreras se sostienen cuando colaboran.
Altman no anunció cuándo se impondría un límite a la capacidad de un modelo ni cómo se mediría. Por ahora, la medida concreta que OpenAI describe es el refuerzo de sus entornos de entrenamiento, mientras su CEO defiende una distribución más amplia de la inteligencia como rumbo para el futuro.
