A medida que la adopción de IA se acelera, las organizaciones enfrentan el desafío de comprender y controlar los costos. Este framework propone un modelo jerárquico de atribución de costos que comienza a nivel de token, agregándose a través de llamadas API, funcionalidades, servicios y finalmente departamentos. Los componentes clave incluyen etiquetar cada solicitud de inferencia con metadatos, construir un pipeline de agregación de costos y crear paneles para diferentes partes interesadas. El enfoque permite decisiones basadas en datos sobre selección de modelos, estrategias de almacenamiento en caché y asignación de recursos. También admite modelos de cargo donde los departamentos son facturados según el uso real de IA, promoviendo la responsabilidad y el uso eficiente de recursos.
Un framework completo para rastrear y asignar costos de aplicaciones de IA entre equipos, desde tokens individuales hasta presupuestos departamentales.