Los proveedores de modelos de lenguaje grandes (LLM) cobran según el uso de tokens, pero la estructura de facturación puede ser compleja. Esta señal desglosa los tres componentes principales: tokens de entrada (prompt), tokens de salida (texto generado) y aciertos de caché (contexto reutilizado). Comprender estas diferencias es crucial para los desarrolladores que crean aplicaciones de IA, ya que los aciertos de caché pueden reducir significativamente los costos. Por ejemplo, almacenar en caché prompts usados frecuentemente puede reducir los gastos hasta en un 90%. Este conocimiento permite a los desarrolladores diseñar sistemas más eficientes y elegir el plan de precios adecuado para su caso de uso.
Una guía práctica para entender la facturación de tokens en modelos de lenguaje grandes, cubriendo precios de entrada, salida y aciertos de caché para optimizar costos.