LingBot-VLA 2.0 stellt einen bedeutenden Schritt in der verkörperten KI dar, indem es die Robotersteuerung als bedingtes Generierungsproblem behandelt. Das Modell nimmt Multiview-Kamerabilder, natürliche Sprachbefehle und den aktuellen Zustand des Roboters als Eingabe und gibt eine Sequenz kontinuierlicher Aktionen aus. Dieser Artikel erläutert die Architektur und erklärt, wie visuelle Merkmale mit Spracheinbettungen fusioniert werden und wie der Aktionsdecoder glatte, ausführbare Trajektorien erzeugt. Zu den wichtigsten Neuerungen gehören ein Cross-Attention-Mechanismus zur Ausrichtung visueller und sprachlicher Modalitäten sowie ein diffusionsbasierter Aktionsgenerierungskopf, der zeitliche Konsistenz gewährleistet. Der Ansatz wird an simulierten Manipulationsaufgaben evaluiert und zeigt verbesserte Erfolgsraten im Vergleich zu früheren VLA-Modellen. Diese Arbeit ist relevant für Forscher und Ingenieure, die an Vision-Language-Action-Modellen für die Robotik arbeiten, da sie eine klare Methodik bietet, die angepasst oder erweitert werden kann.
Eine detaillierte technische Aufschlüsselung von LingBot-VLA 2.0, einem Vision-Language-Action-Modell, das kontinuierliche Roboteraktionen aus Multiview-Bildern und Sprachbefehlen generiert.