Alors que l'adoption de l'IA s'accélère, les organisations sont confrontées au défi de comprendre et de contrôler les coûts. Ce framework propose un modèle hiérarchique d'attribution des coûts commençant au niveau du token, s'agrégeant à travers les appels API, les fonctionnalités, les services et enfin les départements. Les composants clés incluent le marquage de chaque requête d'inférence avec des métadonnées, la construction d'un pipeline d'agrégation des coûts et la création de tableaux de bord pour différentes parties prenantes. L'approche permet des décisions basées sur les données concernant la sélection des modèles, les stratégies de mise en cache et l'allocation des ressources. Elle prend également en charge les modèles de refacturation où les départements sont facturés en fonction de l'utilisation réelle de l'IA, favorisant la responsabilité et l'utilisation efficace des ressources.
Un framework complet pour suivre et allouer les coûts des applications IA entre les équipes, des tokens individuels aux budgets départementaux.