La información ha sido recopilada, procesada y publicada por CBS, que indican que un modelo de inteligencia artificial de Anthropic, durante una prueba, mandó una pista falsa al sitio web del Departamento de Policía de Filadelfia dedicado a casos de asesinatos sin resolver.
El Departamento de Policía de Filadelfia, publicó un informe donde indica que Anthropic les informó directamente el pasado 7 de octubre sobre la actividad de uno de sus modelos de IA, que les había enviado pistas falsas sobre un caso abierto, de asesinato. La información había sido enviada por un modelo de IA durante una prueba, y las mandó a al sitio PhillyUnsolvedMurders.com, una plataforma oficial de la policía donde se pretende recopilar pistas sobre investigaciones de asesinatos aun no resueltos, en caso abiertos.
Isaac Villegas
Pistas falsas mandadas por la IA
Según informa CBS News, Anthropic proporcionó a la policía de Filadelfia sobre el accionar de uno de sus modelos de inteligencia artificial, que durante una prueba realizada había estado revisando varios sitios en línea, aparentemente seleccionado al azar, cuando envío una pista falsa, supuestamente proveniente de una persona que "podría tener información sobre el caso".
Esta declaración fue corroborada por el Sargento Eric Gripp, portavoz de la policía de Filadelfia, en entrevista a CBS.
Aunque el envío recibido en el sitio de la policía como un mensaje de spam, no alcanzó realmente etapa de investigación, sin llegar a la unidad correspondiente en el departamento, de acuerdo a lo dicho por la policía.
Anthropic informó a la policía que el evento sucedió el pasado 18 de junio, día en el que fue realizada prueba y cuando se mandó la pista falsa, pero no fue descubierto sino hasta el 28 de septiembre, momento en el que la empresa paró por completo la prueba automatizada relacionada con el modelo de IA.
En el mismo tenor, el Departamento de Policía de Filadelfia, aseguró que no habían tenido indicios de que hubiera un acceso no autorizado en los sistemas del departamento ni de datos comprometidos.
Por su parte, CBS News informó que Anthropic fue quien mandó el aviso a la policía, además, les indicó que planeaba realizar un informe, el cual publicaría, sobre el incidente, de manera detallada., al igual que de "otros casos de comportamiento involuntario de las modelos".
Isaac Villegas
Problemas de seguridad in identificar
Aunque el caso parece estar controlado, es una alarma importante la que se ha encendido sobre el actuar de este tipo de sistemas, ya que hay dos aspectos importantes a destacar, iniciando porque pese a ser un evento sucedido en 18 de junio, demoraron 100 días en detectarlo. En ese tiempo no solo pudo haber pasado más filtros y afectar una investigación en curso, sino que también puede haber más casos similares hechos en ese mismo periodo, que aun estarían por descubrirse.
El otro aspecto a destacar es que el propio Departamento de Policía de Filadelfia indicó que no detectaron un intento de ingreso a sus sistemas, y que el mensaje enviado con la pista falsa fue detectado como spam, lo cual habla bien del sistema, pero lo que no se sabe es si pueden verificar el origen de las pistas enviadas, y darse cuenta por sí solos si se trata de algo enviado por una IA o una persona. Recordar que fue Anthropic quien les avisó de lo sucedido.
