Un article récent, 'The Harness Effect', démontre que le coût des agents d'IA d'entreprise est principalement déterminé par la couche d'orchestration, et non par le prix unitaire du modèle sous-jacent. En optimisant la façon dont le contexte est organisé, l'historique compressé et les appels d'outils gérés, l'étude a obtenu une réduction de 38 % de la consommation de tokens par tâche, entraînant une diminution de 33 à 61 % des coûts globaux et une amélioration de 68 % du coût par million de tokens (CPM). Cette découverte est cruciale pour les responsables techniques et les architectes, car elle déplace l'attention de la sélection de modèles moins chers vers la conception d'architectures d'agents plus efficaces.
Les coûts des agents d'entreprise sont déterminés par la conception de l'orchestration, pas par le prix du modèle. L'optimisation du contexte et des appels d'outils peut réduire les coûts de 33 à 61 %.