Cet article couvre la tendance émergente consistant à donner aux grands modèles de langage une incarnation humaine en 3D, leur permettant d'interagir dans des environnements physiques ou simulés. L'auteur présente un framework appelé 'Mofa Xingyun' qui fait le pont entre le raisonnement textuel et les avatars 3D expressifs. Cela représente une étape importante vers une interaction homme-IA plus naturelle, avec des applications en robotique, assistants virtuels et jeux vidéo. Les défis techniques incluent le rendu en temps réel, la génération de gestes et le maintien d'un dialogue cohérent entre les modalités. Pour les chercheurs en IA et les équipes produit, cela signale un passage de l'IA purement conversationnelle aux agents incarnés multimodaux.
Exploration de la transition des agents IA purement textuels vers des systèmes incarnés en 3D capables d'interagir physiquement et socialement.