VLA-JEPA représente une approche novatrice en robotique en décomposant les actions en deux couches distinctes. La couche d'action latente prédit comment l'état du monde changera après une action, sans spécifier de commandes motrices. La couche d'action incarnée traduit ensuite ces prédictions en signaux de contrôle continus pour le robot. Cette séparation permet un raisonnement plus abstrait sur les conséquences des actions et une exécution plus flexible. Construit sur le grand modèle de langage Qwen, VLA-JEPA traite des images multivues et des instructions pour générer ces actions hiérarchisées. L'architecture est particulièrement prometteuse pour les tâches nécessitant une planification à long terme et une adaptation à des environnements dynamiques. En découplant la prédiction de l'exécution, VLA-JEPA permet aux robots d'apprendre plus efficacement à partir de moins de démonstrations et de mieux généraliser à des situations nouvelles. Ce travail est une contribution significative au domaine de l'IA incarnée, offrant une manière fondée de combiner le raisonnement de haut niveau avec le contrôle de bas niveau.
VLA-JEPA introduit une représentation d'action à deux couches pour la robotique : les actions latentes prédisent comment le monde change, tandis que les actions incarnées exécutent un contrôle continu. Cette approche, basée sur Qwen, permet un apprentissage robotique plus efficace et interprétable. La méthode est une étape importante pour relier perception et action dans l'IA incarnée.