Anthropic ha decidido añadir una nueva prohibición al uso de sus modelos de inteligencia artificial a la crueldad constante e innecesaria, haciendo válida y aplicable la política de su chatbot Claude para que pueda terminar una conversación con usuarios si presentan una conducta abusiva persistente.
La compañía de inteligencia artificial aseguró que la restricción es aplicable sólo en caso precisos, donde los usuarios presenten actitudes de maltrato con sus modelos sin una razón aparente. Esto deja fuera expresiones de frustración común, críticas, y contenidos creativos, al igual que las pruebas a la seguridad de la IA.
Isaac Villegas
Anthropic habilita a sus modelos de IA para reaccionar ante las agresiones
La empresa ya ha introducido la capacidad para que algunos de sus modelos de inteligencia artificial de Claude puedan terminar conversaciones con usuarios que muestren actitudes injustificadas de agresividad, todo con el fin de mantener el bienestar de la IA.
Desde ese punto, Anthropic reconoció que tenía una postura llena de incertidumbre sobre si los sistemas de la IA tienen un estatus moral, si les puede afectar o no lidiar con posturas agresivas en usuarios. Pero también aseguró que se estaban realizando exploraciones medidas de protección en caso de que sí sean afectados.
De acuerdo al sistema actual, Claude es capaz de terminar una conversación con un usuario tras presentar constantes intentos de mantener una interacción agresiva y abusiva, aunque éste sería su último recurso.
Pero aclaran que, en caso de suceder, no limita a los usuarios a continuar, pudiendo iniciar nuevos chats, sin que el historial afecte la forma en la que el chatbot llevará la interacción, y es decisión y responsabilidad del usuario tomar una nueva actitud en la nueva conversación, o repetir los mismos errores, conllevando las mismas consecuencias.
Anthropic declaró que el terminar conversaciones que se hayan tornado abusivas y agresivas es y será el nuevo esquema de acción impuesto por sus modelos de inteligencia artificial principal, como medida primaria, buscando evitar que usuarios deseen realizar este tipo de interacciones, con el fin de cumplir con la nueva restricción.
Isaac Villegas
También anunciaron que, al menos hasta el momento, no hay determinación sobre consecuencias o sanciones a los usuarios que lleguen a este punto, siendo sólo acreedores al cierre de la conversación con el chatbot, pero estando habilitados a iniciar una nueva conversación sin cambio alguno.
Aun así, no se ha clarado qué es considerado un comportamiento agresivo, por lo que los usuarios tendrán que ir encontrando cuál es el límite en cada interacción, y así aprender en qué situaciones se permite una actitud agresiva por frustración, que es tolerada, y cuándo es un agresión directa que no será tolerada.
