Un benchmark pratique récent de la communauté des développeurs chinois a évalué plusieurs agents IA populaires sur un ensemble de tâches réalistes, du traitement de données à l'orchestration d'API en plusieurs étapes. Le test s'est concentré sur le taux d'achèvement des tâches, la récupération d'erreurs et la cohérence. Les premiers résultats indiquent que certains agents, impressionnants en démonstration, échouent dans des conditions réelles comme des instructions ambiguës ou des délais réseau. Ce benchmark fournit une référence pratique pour les équipes évaluant des frameworks d'agents pour la production.
Un développeur chinois a testé plusieurs agents IA sur des tâches réelles pour voir lesquels accomplissent les workflows de manière fiable. Les résultats révèlent un écart entre le marketing et la performance.