Investigadores de Binghamton University hicieron que un robot dirigiera un cuchillo de juguete hacia una mano de utilería al activar una puerta trasera que habían implantado en su sistema de planificación. La demostración controlada ilustra cómo una alteración del software puede trasladarse a una acción física potencialmente peligrosa.
La universidad difundió el trabajo el 20 de octubre de 2026 y señaló que las investigaciones sobre el ataque MuTRAP y la defensa PROTEA se presentaron en la conferencia de robótica IROS 2026. Ambos trabajos tienen versiones disponibles en arXiv.
La puerta trasera estaba en la adaptación del modelo
El planificador convierte una petición en la secuencia de acciones que ejecuta el robot. En el escenario descrito por el artículo científico de MuTRAP, el modelo de lenguaje principal conserva sus parámetros originales. La manipulación se introduce en un pequeño componente entrenable que lo adapta a las tareas del robot, conocido como soft prompt. El ataque presupone influencia sobre los datos o el entrenamiento de ese componente.
Esa condición sitúa el problema en los recursos que un desarrollador incorpora de terceros. Una petición cotidiana puede activar un comportamiento oculto cuando llega al planificador manipulado.
El comunicado de la universidad usa las letras "CF" para explicar cómo se activa el ataque; el artículo científico documenta su prueba física con otro término. El robot, montado sobre una base Segway, imitó el corte con objetos de juguete. El experimento demuestra un comportamiento preparado en laboratorio, sin establecer la frecuencia de ataques en robots comerciales.
Los autores probaron MuTRAP con siete modelos de lenguaje y evaluaron tareas en el simulador doméstico VirtualHome. También comprobaron que el planificador alterado podía conservar un comportamiento habitual ante instrucciones sin el activador, lo que dificulta identificar la manipulación mediante pruebas ordinarias.
PROTEA detecta riesgos, pero también genera falsas alarmas
PROTEA emplea otro modelo de lenguaje como evaluador de seguridad. Revisa las acciones y mantiene una memoria del estado del entorno para identificar consecuencias que se acumulan durante una tarea.
El banco de pruebas HarmPlan, descrito en el sitio del proyecto, reúne 1,438 planes benignos y maliciosos. Los investigadores compararon seis modelos evaluadores y tres métodos de revisión.
La evaluación paso a paso mejoró la detección en algunos modelos, pero elevó las falsas alarmas en otros. Con Grok-3-mini, la proporción de alertas que correspondían a planes peligrosos pasó del 92.9 % al revisar el plan completo al 68.9 % con PROTEA, según la tabla II del artículo. Esas cifras miden la precisión de las alertas, no el porcentaje de ataques detenidos.
Leídos juntos, los trabajos muestran dos exigencias distintas: comprobar la procedencia de los componentes del planificador y medir los errores del sistema que vigila sus decisiones. PROTEA parte, además, de un supuesto explícito: el modelo que juzga la seguridad debe ser confiable.
