El Desafío de la IA Embodied
Los Large Language Models pueden escribir poesía, resumir documentos legales y aprobar exámenes médicos — pero no pueden coger una taza de café. En el momento en que un sistema de IA debe interactuar físicamente con el mundo, enfrenta un problema fundamentalmente distinto: convertir comprensión de alto nivel en comandos motores precisos en tiempo real.
Los pipelines tradicionales de manipulación robótica descomponen esto en etapas rígidas: percepción, planificación y control. Cada etapa es un módulo separado, diseñado a mano — frágil ante cambios en iluminación, objetos o instrucciones.
Los modelos Visión-Lenguaje-Acción (VLAs) buscan reemplazar este pipeline con una única red neuronal que recibe píxeles y una instrucción en lenguaje natural, y produce directamente acciones motoras.
De los VLMs a los VLAs
Los modelos Visión-Lenguaje (VLMs) como CLIP [1] , LLaVA [2] y PaLI [3] ya fusionan comprensión visual y lingüística. Los VLAs añaden una tercera modalidad: acciones .
Un VLA tiene tres componentes fundamentales:
- Encoder de visión: Convierte imágenes en tokens visuales. Arquitecturas comunes: ViT [4] , SigLIP [5] , DINOv2 [6] . Algunos VLAs usan dos encoders: uno semántico y otro espacial.
- Backbone de lenguaje: Un LLM pre-entrenado (e.g., Llama 2 [7] , PaLM, Gemma) que procesa tokens visuales y la instrucción.
- Cabeza de acción: Produce comandos motores — puede ser desde decodificar tokens del vocabulario del LLM hasta un modelo de difusión que genera trayectorias continuas.
Formalmente, un VLA aprende una política $\pi$ que mapea una observación $o_t$ y una instrucción $\ell$ a una acción $a_t$:
donde $a_t \in \mathbb{R}^d$ es un vector $d$-dimensional de deltas del efector final. Para un brazo de 7 DoF, $d = 7$.
Datasets Clave
Los modelos de lenguaje se benefician de billones de tokens de la web. Los datos de robots deben recopilarse físicamente, lo que hace la colección de datos órdenes de magnitud más cara.
- Open X-Embodiment (OXE) [8] : Dataset colaborativo de 20+ instituciones con ~970K trayectorias en 22 embodiments diferentes.
- RT-1 Dataset [9] : ~130K episodios de manipulación en mesa recopilados por Google, anotados con instrucciones en lenguaje natural.
- Bridge V2 [10] : ~60K demostraciones en un brazo WidowX en entornos de cocina diversos.
- DROID [11] : ~76K episodios en 564 escenas únicas con un brazo Franka Emika Panda.
El Problema de la Representación de Acciones
Las acciones robóticas son inherentemente continuas , pero los LLMs producen tokens discretos . Hay dos enfoques principales:
- Tokenización discreta (autoregresiva): Discretizar cada dimensión en $K$ bins y tratarlos como tokens. Usado por RT-2 [12] y OpenVLA [13] . Reutiliza la arquitectura del LLM, pero pierde precisión y asume distribuciones uni-modales.
- Generación continua (difusión/flow): Una cabeza de acción separada genera acciones continuas mediante Diffusion Policy [14] o flow matching [15] . Captura distribuciones multi-modales con precisión completa.
Los siguientes artículos exploran ambas familias: el enfoque autoregresivo (RT-2 y OpenVLA), el continuo (Diffusion Policy y π₀ [16] ) y una comparación final.
Quiz
Comprueba tu comprensión de los fundamentos de VLA.
¿Cuál es la principal limitación de los pipelines tradicionales de manipulación robótica?
¿Qué mapea la política π de un VLA?
¿Aproximadamente cuántas trayectorias robóticas contiene el dataset Open X-Embodiment?
¿Qué componente diferencia fundamentalmente a un VLA de un VLM?
¿Por qué un modelo autoregresivo discreto puede tener dificultades con tareas de múltiples soluciones válidas?