Un equipo de la Universidad de Pensilvania informa que su método RAGu elevó del 20% al 80% la tasa promedio de éxito de un brazo robótico en cinco tareas físicas, sin actualizar los pesos del modelo durante las pruebas. La comparación reúne 50 intentos por método y explora cómo aprovechar movimientos registrados anteriormente para actuar en un entorno distinto.
La investigación, presentada en arXiv el 7 de noviembre de 2026 por Subin Kim, Anh-Quan Pham y Dinesh Jayaraman, trabaja con modelos de visión, lenguaje y acción. Estos sistemas combinan información visual e instrucciones con la generación de movimientos para un robot.
El resultado forma parte de varias investigaciones recientes que estudian problemas distintos de la IA visual. Algunas intentan mejorar la ejecución de un movimiento; otras buscan entender por qué un modelo interpreta mal una escena o se equivoca al imaginarla desde otro ángulo.
Movimientos anteriores como guía para un entorno nuevo
RAGu busca demostraciones de acciones parecidas en una colección de movimientos robóticos y adapta sus trayectorias a la posición de los objetos en la escena nueva. Después selecciona una trayectoria compatible para orientar los movimientos que genera el modelo.
La idea es que el robot pueda aprovechar una demostración hecha en otro entorno sin volver a entrenar sus pesos para cada situación. El método no requiere que el ejemplo previo sea idéntico, pero sí necesita que la base de datos contenga demostraciones de una categoría de tarea suficientemente parecida.
En las pruebas con un brazo físico, el equipo evaluó la apertura de un cajón y un gabinete, el cierre de un microondas, la colocación de una toalla sobre un plato y la limpieza de una mesa. Cada método tuvo diez intentos por tarea.
El modelo base, π0.5, completó el 20% de los 50 intentos en conjunto. Con RAGu, la tasa fue del 80%. Otra técnica que empleaba un modelo visual para orientar el movimiento alcanzó el 40%, de acuerdo con los resultados publicados por los investigadores.
La diferencia entre el modelo base y RAGu es de 60 puntos porcentuales en esa prueba. Los resultados también tienen un alcance concreto: cinco tareas, un conjunto de condiciones experimentales y diez intentos por tarea no establecen una tasa de éxito para cualquier robot o entorno doméstico.
Un humanoide simulado y límites de la guía
El mismo proyecto evaluó la transferencia de trayectorias a un humanoide GR-1 simulado. En cinco tareas de mesa, con 25 intentos por tarea, la tasa media del modelo GR00T-N1.5 sin ajuste específico pasó del 33.6% al 47.2% al añadir la guía de RAGu.
Esa cifra corresponde a otra plataforma, otro modelo y un entorno simulado. No es una medición del mismo brazo físico ni puede compararse directamente con su 80%. Sirve para mostrar que la utilidad de la guía cambia con la tarea y el sistema evaluado.
Los autores señalan límites en el propio mecanismo. Si la cámara no permite identificar bien los objetos o una parte de la escena queda oculta, la adaptación geométrica de los movimientos puede degradarse. La guía también depende de las capacidades que ya posee el modelo: no garantiza que pueda ejecutar una acción fuera de su repertorio.
El problema de interpretar lo que se ve
Otro equipo examinó una dificultad anterior al movimiento: seguir lo que ocurre en una secuencia visual. En su estudio de siete modelos, los investigadores compararon respuestas a escenas mostradas visualmente con respuestas apoyadas por descripciones correctas de esas mismas escenas.
Una de las pruebas presenta a un personaje que ve un objeto en un lugar y después se ausenta mientras otro lo cambia. La pregunta es dónde cree el primer personaje que está el objeto. Según el estudio, el error más frecuente era responder con la ubicación real en vez de considerar lo que ese personaje había visto.
Ese patrón representó el 60% de los fallos en las pruebas de falsa creencia analizadas, no el 60% de todas las respuestas. Las descripciones correctas ayudaron a reducir la brecha entre las condiciones visuales y textuales, mientras que las descripciones generadas por analizadores automáticos no resolvieron el problema.
Una investigación separada propone WorldMind para preguntas espaciales que requieren considerar cambios de perspectiva. Su sistema combina un modelo de visión y lenguaje con representaciones internas de un modelo de mundo, con el fin de simular transformaciones de la escena.
En VSI-Bench, una de las pruebas utilizadas, la versión de WorldMind entrenada con aprendizaje supervisado y por refuerzo obtuvo un puntaje promedio de 71.1, frente a 57.4 de Qwen3-VL-8B-Instruct en la comparación publicada. Se trata de una evaluación de razonamiento espacial, no de una medición de éxito al controlar el brazo de RAGu.
Los tres trabajos abordan etapas diferentes: interpretar una escena, razonar sobre posiciones y orientar una acción. Sus resultados apuntan a formas de estudiar cada etapa por separado; todavía hace falta comprobar cómo se comportan esos métodos en más condiciones y con tareas distintas.
