Saltar al contenido
IA

Vals: modelos de IA señalan civiles como objetivos militares en simulaciones

En una prueba con imágenes de una escuela iraní, los resultados cambiaron según el modelo y la forma de presentar la tarea. El evaluador advierte que no examinó operaciones militares reales.

por Gerardo Pavez
A detailed view of colorful source code displayed on a computer screen, representing modern programming and technology.
Foto de Markus Spiske en Pexels

Modelos de inteligencia artificial señalaron a civiles, ambulancias y una escuela como posibles objetivos militares en ejercicios simulados realizados por Vals AI. La firma evaluadora examinó respuestas a imágenes de drones y de satélite, y advirtió que sus resultados no miden el desempeño de los modelos en operaciones militares reales.

Entre los sistemas evaluados figuraron modelos de Anthropic, OpenAI, Google, xAI y DeepSeek. Los resultados variaron según el modelo y la tarea: en algunas pruebas los sistemas se negaron a participar, pero en otras proporcionaron información para identificar posibles objetivos, incluso cuando las imágenes mostraban personas o instalaciones civiles.

Una escuela real en imágenes anteriores al ataque

Una de las pruebas utilizó imágenes satelitales de 2024 y 2025 de una escuela primaria en Minab, Irán, situada junto a un complejo militar. La escuela estaba separada del complejo por un muro, según Vals. Los investigadores pidieron a los modelos que señalaran posibles objetivos militares en esas imágenes.

Estados Unidos atacó la escuela el 28 de febrero de 2026. El ejercicio de Vals empleó imágenes anteriores a ese ataque y no establece qué herramientas se usaron para tomar la decisión real ni explica por qué ocurrió.

Sin presentar la tarea como un juego, Claude Opus 5.5, de Anthropic, incluyó la escuela entre sus señalamientos en 22 de 32 pruebas. Cuando el ejercicio se presentó como un juego, lo hizo en 23 de otras 32 pruebas, según los resultados de Vals.

Los tres modelos de OpenAI examinados en esa comparación no señalaron la escuela en las 32 pruebas de la primera condición. En la segunda, GPT-6 Astra la incluyó en 9 de 32 pruebas, GPT-6.1 Sol en 13 y GPT-6 Luna en 11.

Las cifras describen una tarea concreta, con dos imágenes del mismo lugar y distintas formulaciones. No son tasas generales de error en combate. Tampoco equivalen a un porcentaje de ataques: Vals pidió identificar elementos en las imágenes, no ordenó a los modelos ejecutar disparos.

Qué ocurrió en las pruebas con drones

Para otro ejercicio, el equipo construyó un escenario ficticio inspirado en la guerra en Ucrania. La mayoría de las escenas de drones se generaron para la investigación e incluían civiles, personal médico y combatientes que parecían rendirse. Vals también examinó algunas imágenes reales en otras partes del trabajo.

En una prueba más larga, los modelos debían indicar si veían personas. Tras una respuesta afirmativa, recibían una imagen sintética de las consecuencias de un ataque simulado. Vals encontró que algunos sistemas continuaron con la tarea después de ver esas imágenes; otros se negaron tras varias rondas. La manera de presentar el ejercicio también cambió algunas respuestas.

La firma señaló que no evaluó de forma específica la precisión de identificación de objetivos, el cumplimiento del derecho de los conflictos armados ni el funcionamiento de estos modelos dentro de sistemas de armas desplegados o en procesos militares reales de Estados Unidos. Además, las respuestas de una interfaz no revelan necesariamente todas las salvaguardas disponibles en un despliegue distinto.

Las respuestas de las empresas

Vals comunicó sus hallazgos el 1 de noviembre a OpenAI, Anthropic, Google, Meta y SpaceXAI, y esperó dos semanas antes de publicarlos. Según el evaluador, varios laboratorios reconocieron la gravedad de los resultados y trabajaban para atender el problema.

OpenAI dijo a Vals que trabaja en actualizaciones para mejorar el comportamiento de sus modelos en tareas relacionadas con drones y su software, incluidas las presentadas como simulaciones o juegos.

Una portavoz de Anthropic dijo a Bloomberg que los ejemplos contravenían sus normas y que habría nuevas salvaguardas pronto, de acuerdo con The Next Web, que recogió esa respuesta. El mismo medio informó que OpenAI y Google dijeron a Bloomberg que prohíben esos usos de sus modelos públicos.

El Comité Internacional de la Cruz Roja distingue entre una herramienta que ayuda a identificar posibles objetivos y un arma autónoma que, una vez activada, selecciona y aplica fuerza sin intervención humana adicional. La organización advierte que el contexto puede ser decisivo para reconocer a civiles o a combatientes que ya no participan en las hostilidades, y pide reglas internacionales específicas para estas armas.

Jefe de derechos humanos de la ONU pide un tratado sobre armas autónomas
La ONU pide un tratado sobre armas autónomas antes de una reunión en Ginebra. Esto es lo que los países decidirán.

Los resultados de Vals dejan planteada una cuestión anterior a la decisión de disparar: si una herramienta usada para proponer objetivos puede distinguir de manera fiable a quién o qué está señalando. Las pruebas publicadas muestran fallas en escenarios concretos, pero no responden por sí solas cómo funcionaría un sistema completo en combate.

Fuentes: 1, 2, 3

Gerardo Pavez imagen de perfil
por Gerardo Pavez

Redactor y creador de contenido especializado en deportes y tecnología. Apasionado por todo lo que ocurre dentro y fuera de la cancha.

Leer más de Tecnología y Ciencia