Un article récent sur une plateforme de développeurs chinoise met en garde contre la confiance dans les affirmations marketing des modèles pour les agents IA. L'auteur soutient que, testés sur des tâches réelles, de nombreux modèles ne parviennent pas à atteindre les performances annoncées dans les benchmarks ou les démos. Ce signal est crucial pour les développeurs construisant des systèmes basés sur des agents, car il souligne l'importance d'une évaluation rigoureuse et spécifique à la tâche plutôt que de se fier au battage médiatique des fournisseurs.
Le marketing des modèles exagère souvent les capacités des agents ; les tâches réelles exposent des lacunes importantes.