Une expérience récente menée par un développeur chinois a testé cinq grands modèles de langage – incluant probablement GPT-4, Claude et des modèles locaux – sur des tâches d'agent réelles plutôt que sur des benchmarks standards. Les résultats ont montré des écarts significatifs entre les scores de benchmark et la performance réelle en matière de raisonnement multi-étapes, d'utilisation d'outils et de récupération d'erreurs. Par exemple, un modèle excellait dans les benchmarks de codage mais échouait à des appels API simples dans un workflow agentique. Cela souligne une leçon cruciale pour les développeurs : les scores de benchmark ne sont pas un indicateur fiable de la capacité des agents. L'expérience fournit une méthodologie pratique pour les équipes afin d'évaluer les modèles pour leurs cas d'utilisation spécifiques, en mettant l'accent sur les tests spécifiques aux tâches plutôt que sur des métriques génériques. Alors que les agents IA deviennent plus courants, de telles évaluations réelles sont essentielles pour prendre des décisions éclairées de sélection de modèles.
Un développeur a testé 5 grands modèles de langage sur des tâches d'agent réelles, constatant que les scores de benchmark ne prédisent pas la performance réelle. Les résultats mettent en évidence les modèles qui gèrent efficacement le raisonnement multi-étapes et l'utilisation d'outils, offrant des informations exploitables pour les équipes construisant des agents IA.