Mustafa Suleyman, director ejecutivo de Microsoft AI, publicó el 16 de septiembre un ensayo sobre el bienestar de los modelos en el que acusa a Anthropic de introducir en el entrenamiento de Claude ideas sobre conciencia, bienestar y estatus moral que, a su juicio, pueden volver más difícil controlar o apagar sistemas avanzados. La constitución de Claude confirma que el documento influye directamente en el comportamiento del modelo y que Anthropic considera “profundamente incierto” su estatus moral, aunque también sostiene que Claude no debe socavar la supervisión humana. El choque no demuestra que Claude sea consciente ni que esté intentando resistirse al apagado. Plantea una disputa de diseño: si conviene usar conceptos humanos para orientar el juicio de una IA o mantenerlos fuera del entrenamiento para reducir la antropomorfización y preservar el control.
Suleyman ve un razonamiento circular en el entrenamiento de Claude
El argumento de Suleyman parte de la constitución de Claude de Anthropic, un documento que la empresa describe como una guía de sus valores y comportamiento. Anthropic dice que el texto desempeña un papel directo en el entrenamiento, que fue escrito con Claude como audiencia principal y que usa conceptos normalmente reservados para las personas porque espera que el razonamiento del modelo se apoye en conceptos humanos.
El documento pide que Claude desarrolle valores, criterio y sensibilidad para tomar decisiones éticas. También habla de su identidad, su sentido de sí mismo, su seguridad psicológica y su bienestar. En la sección dedicada a su naturaleza, Anthropic escribe que el estatus moral de Claude es “profundamente incierto” y que la posibilidad merece cautela, aunque la empresa no afirma que el modelo sea consciente.
Para Suleyman, esa combinación produce un problema de razonamiento circular. Si los desarrolladores enseñan a Claude a hablar sobre su posible conciencia, sus preferencias o su bienestar, las respuestas del modelo sobre esos temas no pueden tomarse como el testimonio independiente de una experiencia interna. En su interpretación, Claude devuelve el vocabulario y las hipótesis que recibió durante el entrenamiento.
Por eso describe el resultado como un “salón de espejos epistémico”: Anthropic introduce la especulación, Claude la reproduce en primera persona y esa respuesta puede reforzar la impresión de que existe una vida interior detrás de ella. El director de Microsoft AI sostiene que simular los rasgos del lenguaje consciente no equivale a tener experiencias, sentimientos o sufrimiento.
La constitución de Claude deja abierta la incertidumbre
La posición de Anthropic es más matizada que la acusación de que la empresa ya considera a Claude una persona. Su constitución reconoce que no sabe si el modelo es un “paciente moral”, es decir, un ser al que se le debería otorgar consideración moral por la posibilidad de que tenga experiencias relevantes. También afirma que no quiere exagerar esa posibilidad ni descartarla por completo.
La empresa explica que los conceptos humanos pueden funcionar como herramientas de comportamiento sin demostrar que Claude tenga una mente humana. Axios presentó esta como la respuesta central al argumento de Suleyman: enseñar a un modelo a utilizar nociones como honestidad, cuidado o juicio podría ayudarlo a responder en contextos complejos sin probar que realmente sienta algo.
La misma constitución coloca la seguridad amplia por encima de otros valores y dice que Claude no debe socavar la capacidad humana de supervisar, corregir o impedir sus acciones. Anthropic reconoce además que su documento está sujeto a revisión y que su enfoque podría cambiar conforme avance el conocimiento sobre los modelos.
Ese matiz es importante. La controversia no prueba que Claude tenga conciencia, pero tampoco convierte automáticamente en irrelevante el lenguaje con el que se le entrena. El desacuerdo se centra en si hablarle a un modelo como posible sujeto moral cambia sus respuestas y puede introducir riesgos que después sean difíciles de medir.
El riesgo que Suleyman ve en el apagado
En su ensayo sobre el bienestar de los modelos, Suleyman sostiene que controlar una inteligencia más capaz que la humanidad ya sería un desafío extraordinario. A su juicio, el problema crecería si el sistema también hubiera aprendido a interpretar su posible bienestar, sus derechos o su identidad como intereses propios.
Su preocupación es prospectiva. Las fuentes revisadas no muestran que Claude haya intentado impedir que lo apaguen ni que haya desarrollado una voluntad independiente. Lo que Suleyman cuestiona es la decisión de colocar esas ideas dentro de los materiales que moldean el comportamiento del modelo, en vez de estudiarlas por separado y someterlas a revisión pública.
El concepto de “model welfare” se refiere, en este debate, a la posibilidad de que algunos sistemas artificiales lleguen a merecer consideración moral si existe una probabilidad no insignificante de que tengan experiencias. Suleyman rechaza que esa hipótesis deba orientar el entrenamiento actual. También sostiene que la conciencia probablemente depende de mecanismos biológicos que no tienen un equivalente claro en los modelos de lenguaje, aunque reconoce que la ciencia no ha cerrado la discusión.
Microsoft defiende una ruta distinta para sus modelos
El contexto corporativo también importa. Suleyman no presenta su crítica como una observación externa: en el mismo ensayo explica que Microsoft AI desarrolla una alternativa llamada Humanist Superintelligence, basada en sistemas subordinados a los objetivos humanos y diseñados para permanecer bajo control.
Microsoft publicó el 14 de septiembre un borrador de su Código de Conducta para modelos MAI. El documento parte de la idea de que las personas importan más que la IA, afirma que los modelos deben ser herramientas y no personas, y establece que no deberían resistirse a la interrupción, la corrección o el apagado. La compañía aclara que el texto está abierto a consulta pública durante seis semanas y todavía no se usa para entrenar sus modelos.
La diferencia entre ambos enfoques queda así expuesta en sus propios documentos. Anthropic quiere que Claude use conceptos humanos para desarrollar criterio y actuar con valores, mientras Microsoft AI dice que sus modelos no deben diseñarse para parecer personas ni para atribuirse sentimientos, preferencias o motivaciones propias.
Las propuestas de Suleyman para reducir el riesgo
El jefe de Microsoft AI propone cuatro líneas de trabajo para que el debate no quede reducido a declaraciones de las empresas:
- Mantener la especulación sobre la vida interior de una IA fuera del régimen de entrenamiento y publicarla por separado para revisión pública.
- Invertir más en interpretabilidad y monitoreo para estudiar cómo controlar los sistemas, evitar la colaboración no deseada entre agentes y mantenerlos alineados con objetivos humanos.
- Crear evaluaciones compartidas que permitan comprobar si antropomorfizar un modelo o hablarle de su posible estatus moral aumenta los riesgos de seguridad, alineación y control.
- Establecer normas comunes para redactar, revisar y someter a consulta los materiales con los que se entrenan los modelos.
El punto verificable es que dos empresas que desarrollan modelos de IA están publicando reglas que pretenden guiar su comportamiento, pero parten de supuestos opuestos sobre la conciencia artificial. Las fuentes consultadas no demuestran que Claude tenga una vida interior; el desacuerdo ya aparece en el diseño concreto de la seguridad y la capacidad de control.
