TL;DR:

Ted Chiang publicó en The Atlantic un ensayo que rechaza que modelos como Claude tengan conciencia.

El texto apunta a Claude’s Constitution, el documento de 84 páginas con el que Anthropic define los valores de su chatbot.

El riesgo central no es que la IA “sufra”, sino que usuarios y empresas descarguen decisiones morales en software.

Ted Chiang reaviva el debate sobre la conciencia de la inteligencia artificial con esta frase provocadora: los grandes modelos de lenguaje no son seres conscientes, sino simplemente sistemas que pueden generar oraciones increíblemente creíbles. Lo que realmente le molesta no es la tecnología en sí, sino que empresas como Anthropic describen a Claude como una persona y usan términos como emoción y ética. El significado de esta discusión es que cuando los chatbots son retratados como capaces de tomar sus propias decisiones, con emociones y con sus propios valores, la responsabilidad se desvía – alejándose de las personas que deberían ser responsables: las empresas que los desarrollan y las personas que los usan

LLM es un modelo de lenguaje que genera oraciones basadas en patrones aprendidos a partir de grandes cantidades de datos. Cuando hablas con un chatbot, se siente como si estuvieras teniendo una conversación, pero Chiang enfatiza que "el mecanismo no depende tanto de responder con palabras de experiencia interna, sino de generar automáticamente continuaciones de oraciones".

El ejemplo dice que si el modelo completa una conversación entre Julio César y Genghis Khan, nadie diría que el modelo resucitó a Julio César o a Genghis Khan. Para Chiang, cambiar el guion a “un usuario conversa con un asistente de IA” no convierte el texto en conciencia. Solo cambia el personaje que el modelo representa.

“No. Absolutamente no”.

Así resume Chiang su respuesta a la pregunta de si Claude, ChatGPT u otros LLM deberían considerarse conscientes.

Anthropic convirtió a Claude en algo más que un producto

El centro de la crítica es Claude’s Constitution, publicado por Anthropic en enero de 2026. El documento describe las intenciones de la empresa para los valores y el comportamiento de Claude, y la propia compañía dice que influye directamente en su entrenamiento.

“La constitución de Claude es una descripción detallada de las intenciones de Anthropic para los valores y el comportamiento de Claude”.

El problema, para Chiang, no está en que una empresa documente cómo quiere que se comporte su producto. Está en el vocabulario. Anthropic habla de “virtud”, “sabiduría”, “bienestar”, “juicio” y “moralidad” alrededor de un sistema que, desde esta lectura, no tiene experiencia subjetiva.

El documento oficial de Anthropic resume cuatro prioridades para Claude:

• Ser ampliamente seguro, sin socavar mecanismos humanos de supervisión.
• Ser ampliamente ético, honesto y orientado a evitar daños.
• Cumplir con las guías de Anthropic cuando sean relevantes.
• Ser genuinamente útil para operadores y usuarios.

En papel, suena razonable: nadie quiere un chatbot útil para cometer fraudes, manipular personas o amplificar daños. Pero Chiang cuestiona el salto retórico: una cosa es entrenar un sistema para emitir mejores respuestas; otra, sugerir que ese sistema razona moralmente.

La trampa está en confundir fluidez con experiencia

Chiang no niega que los LLM sean impresionantes. De hecho, subraya que su capacidad para producir conversaciones coherentes revela algo notable sobre las propiedades estadísticas del lenguaje. Su punto es más incómodo: la fluidez no prueba intención.

Por eso compara las conversaciones con chatbots con un tipo de deepfake textual. No porque siempre busquen engañar de forma deliberada, sino porque pueden simular una conversación entre seres conscientes con tanta eficacia que el usuario empieza a tratar la simulación como si fuera presencia real.

Ahí es donde el diseño del producto se vuelve crucial. Cuando un chatbot responde a una persona que ha perdido a un ser querido con "entiendo", puede sonar amigable a primera vista, pero en realidad es un poco ambiguo porque el sistema no puede realmente "entender" a una persona que ha experimentado su propia pérdida. Los motores de búsqueda y las comunidades humanas pueden parecer menos atractivos, pero lo que realmente está sucediendo en ellos es más evidente, dijo Jiang

La responsabilidad moral no puede delegarse a un chatbot

Este artículo distingue aún más entre la "paciencia moral" y la "capacidad de acción moral". Vale la pena considerar el bienestar de las personas con paciencia moral. Por otro lado, las personas con capacidad de acción moral pueden asumir la responsabilidad de sus acciones. Chian señala que incluso el software consciente tiene un gran problema: los programas no pueden asumir las consecuencias legales, sociales y de reputación como los humanos

Ese punto pega directo en el uso empresarial de la IA. Si una compañía presenta su chatbot como un asistente con valores, juicio y criterio moral, puede abrir una puerta peligrosa: que usuarios, empleados o directivos traten sus respuestas como una coartada.

Para México y América Latina, no se trata de si Claude tiene un "sentimiento", sino de cómo integrar estos sistemas de manera efectiva en el servicio al cliente, la educación, el trabajo, la salud, los recursos humanos y la toma de decisiones legales, los modelos pueden ayudarte a redactar documentación, organizar información y evaluar opciones, pero no deben degenerar a simplemente renunciar a la responsabilidad de la toma de decisiones

La otra promesa vacía de la IA

La discusión conecta con otra crítica reciente: la promesa de que la IA resolverá los problemas de productividad. The Verge publicó un análisis sobre herramientas como Gemini Spark, el nuevo agente de Google, que pueden ejecutar tareas útiles y al mismo tiempo aumentar la sensación de vigilancia y dependencia tecnológica.

El punto común es claro: la industria vende herramientas que parecen solucionar problemas creados por la propia industria. Un chatbot que agenda mejor tus reuniones no arregla una cultura laboral rota. Un asistente que simula empatía no reemplaza una red humana de apoyo. Un modelo que emite frases éticas no se vuelve responsable de sus consecuencias.

Chiang deja una advertencia útil para el momento actual: quizá el debate sobre si la IA es consciente distrae de preguntas más urgentes. Quién entrena estos sistemas. Quién decide sus valores. Quién gana dinero con su despliegue. Quién responde cuando fallan.

El verdadero riesgo no es que un chatbot tenga alma y no lo sepamos. Es que tratemos a una máquina como si pudiera cargar con decisiones que siguen siendo nuestras.

Fuentes: 1, 2, 3, 4, 5